Perceptron

Perceptron AI 开发面向物理 AI 的多模态基础模型——这种 AI 能在真实世界中感知、推理并行动。公司由来自 Meta FAIR 的研究人员于 2024 年 11 月创立，总部位于华盛顿州贝尔维尤，拥有一支由 AI 研究人员和工程师组成的小型团队。公司获得了 Bessemer Venture Partners 的支持。

其旗舰商业模型 Perceptron Mk1 是一款视觉语言模型，专为原生视频理解和具身推理打造，可以最高 2 FPS 处理视频，具备 32K token 上下文，并返回结构化时间码和片段。与此同时，公司还开发 Isaac 系列开放权重具身基础模型，包括 Isaac 0.1、面向边缘端的 Isaac 0.2，以及拥有 360 亿参数的稀疏专家混合模型 Isaac 0.5，面向机器人控制和具身推理；这些模型同时支持用于连续控制的扩散 Transformer 和用于离散控制的 FAST 动作词汇表。

在模型之上，Perceptron 还提供多种 API。Egocentric 可将原始机器人和第一视角视频转化为结构化、可用于策略训练的监督数据，包含逐帧手部边界框、21 关键点骨架、持续一致的左右手身份，以及基于 16 类动作分类体系的逐手动作描述。Agentic Detection 可对以自然语言描述或单张示例图像指定的任何目标进行定位，对同一图像进行多次推理，以解析细小、密集且模糊的细节，并可泛化到卫星、无人机、机器人、车辆和可穿戴设备等视角。Files API 以及面向 Mk1 的 video_frames 输入类型，降低了处理大型视频负载的开销。

开发者和企业可通过 Perceptron Platform 和 API、Python SDK、GitHub 仓库以及外部模型市场访问这些模型。Mk1 的定价为每百万输入 token 0.15 美元、每百万输出 token 1.50 美元——公司称，在成本低 80–90% 的情况下，这一价格与 OpenAI、Anthropic 和 Google 持平或更优。其系统已在制造、媒体、物流和安防领域的企业客户中部署，Isaac 以 Apache 2.0 许可发布，并已集成到 LeRobot 机器人库中。

团队还发布研究成果，包括一项关于形式化视觉推理的研究，该研究考察了视觉游戏中的回溯和空间定位，以及一项报告缩放定律的研究，该定律可将真实机器人遥操作数据需求降低约 210 倍。据报告，Mk1 在 VSI-Bench 上得分为 88.5，Isaac 0.5 在 LIBERO 上平均成功率为 97.2%。