Perceptron

Perceptron разрабатывает мультимодальные фундаментальные модели для физического ИИ — ИИ, который воспринимает, рассуждает и действует в реальной среде. Компания основана в ноябре 2024 года исследователями из Meta's FAIR и базируется в Белвью, штат Вашингтон; в ней небольшая команда исследователей и инженеров в области ИИ. Её поддерживает Bessemer Venture Partners.

Её флагманская коммерческая модель Perceptron Mk1 — это визуально-языковая модель, созданная для нативного понимания видео и воплощённого рассуждения: она принимает видео с частотой до 2 кадров/с с контекстом в 32K токенов и возвращает структурированные таймкоды и клипы. Параллельно компания разрабатывает серию Isaac — воплощённые фундаментальные модели с открытыми весами, включая Isaac 0.1, ориентированную на периферийные устройства Isaac 0.2 и 36-миллиардную разреженную смесь экспертов Isaac 0.5; они нацелены на управление роботами и воплощённое рассуждение и поддерживают как диффузионный трансформер для непрерывного управления, так и словарь действий FAST для дискретного управления.

Поверх моделей Perceptron предлагает несколько API. Egocentric превращает необработанное видео от роботов и видео от первого лица в структурированную супервизию, пригодную для обучения политик: рамки кистей на каждом кадре, скелеты из 21 ключевой точки, устойчивое определение левой/правой руки и подписи действий для каждой руки в рамках таксономии из 16 действий. Agentic Detection локализует на изображении всё, что описано естественным языком или одним примером изображения, неоднократно анализируя изображение, чтобы распознать мелкие, плотные и неоднозначные детали, и обобщает работу на спутниковые, дроновые, роботизированные, автомобильные и носимые ракурсы. Files API и тип входных данных video_frames для Mk1 снижают накладные расходы при обработке больших видеоданных.

Разработчики и предприятия получают доступ к моделям через Perceptron Platform и API, Python SDK, репозитории GitHub и внешние маркетплейсы моделей; цена Mk1 составляет $0.15 за миллион входных токенов и $1.50 за миллион выходных токенов — по словам компании, это соответствует показателям OpenAI, Anthropic и Google или превосходит их при затратах на 80–90% ниже. Её системы внедрены у корпоративных клиентов в производстве, медиа, логистике и безопасности, а Isaac выпускается под лицензией Apache 2.0 и интегрируется с библиотекой робототехники LeRobot.

Команда также публикует исследования, включая работу о формализации визуального рассуждения, в которой рассматриваются поиск с возвратом и пространственная привязка в визуальных играх, и работу, сообщающую о законе масштабирования, который сокращает потребность в данных телеуправления реальными роботами примерно в 210 раз. Сообщается о результате 88.5 на VSI-Bench для Mk1 и средней успешности 97.2% на LIBERO для Isaac 0.5.