能力 · 在委托内适用
机器人、VLM 与 VLA
从感知到行动：针对具体机器人和运行场景选择并验证模型、控制接口与保护功能。
洽谈机器人项目Hyperion 将产品领导力与范围明确的模型工程和网络安全工作结合。技术任务明确配置、适配、集成和交接内容；专业测试及独立资格评估另行明确约定。
- 观察
传感器、状态与不确定性
- 提议
权限受限的学习策略
- 本地约束
控制限值与独立保护功能
- 行动与观察
继续前验证物理结果
控制、停止和恢复需要针对具体机器人的验证；网络安全属于独立的保障范围。
架构视角
观察
提议
本地约束
行动与观察
观察 → 提议 → 本地约束 → 行动与观察
能在演示里运行的机器人，并不是可以部署的机器人。从感知到行动：针对具体机器人和运行场景选择并验证模型、控制接口与保护功能。 Hyperion主导产品决策和验收标准。范围明确的Mission可包括由Hyperion完成的指定实施工作，其余工程、专业保障和运营责任在方案中明确分配。
分离传感、学习模型提议、控制与保护，明确各接口、责任人及验证证据。 控制、停止和恢复需要针对具体机器人的验证；网络安全属于独立的保障范围。
ROS 2；视觉-语言-动作策略（π 系列、SmolVLA、NVIDIA Isaac GR00T）与 VLM；用于数据、训练与评估的 LeRobot；用于示教的遥操作；仿真（Isaac Sim/Lab）与 sim-to-real；微调（LoRA/QLoRA）与闭环评估；运行时安全监视器、运行包线与紧急停止。
分离学习模型的提议、控制与保护
VLM 和 VLA 承担不同角色，架构取决于任务和控制器。物理使用前，模型提议需要授权接口、明确控制限值和具体机器人的安全证据。
- 输入
传感器
摄像头、深度、力-力矩、本体感觉
- 输入
感知
融合、SLAM、6-DoF 位姿
- 习得
VLM
锚定目标——“我在看什么？”
- 习得
VLA
与机器人及控制器匹配的动作表示
- 已配置控制
规划器与控制
在目标设备上验证轨迹和控制预算
- 安全
安全监视器
独立保护功能；在场景中测试停止与恢复
- 输出
执行器
在物理世界中的运动
分离学习模型的提议、控制与保护
控制、停止和恢复需要针对具体机器人的验证；网络安全属于独立的保障范围。
闭环：执行器与环境的状态反馈回传感器。
VLM 和 VLA 承担不同角色，架构取决于任务和控制器。物理使用前，模型提议需要授权接口、明确控制限值和具体机器人的安全证据。 控制、停止和恢复需要针对具体机器人的验证；网络安全属于独立的保障范围。
VLM与VLA：不同的输出契约
比较输出契约、机器人适配性和集成证据。模型类别本身不能证明已具备物理部署条件。
| 维度 | VLM——视觉-语言模型 | VLA——视觉-语言-动作 |
|---|---|---|
| 输出 | 文本 / 结构化语言 | 机器人动作 / 动作块 |
| 它回答的问题 | “我在看什么？” | “关节现在该做什么？” |
| 角色 | 高层感知、推理、锚定 | 与机器人及控制器匹配的动作表示 |
| 时序验证 | 测量具体模型、运行时、硬件与控制集成 | 测量具体模型、运行时、硬件与控制集成 |
| 训练证据 | 核查具体版本：模态、数据权利和任务覆盖 | 核查具体版本：示范数据、机器人形态和动作表示 |
| 失效模式 | 幻觉式计划 | 错误或不安全的动作提议；测试边界、拒绝与恢复 |
我们测量了什么
实测 68.71 GB
π0.5 全量微调——峰值显存 实测 1.08 → 0.13 (300 steps)
真实微调（LIBERO，语言条件）——损失 仿真 48/50
仿真成功率（LIBERO-Spatial），微调后的策略 微调后的策略：48/50 回合（96%）。训练中见过的 10 个 LIBERO-Spatial 任务，仿真器中新的初始位置，LeRobot 官方评估器。单一训练种子，另行进行的 1,000 步微调。这是一项独立的试点结果，不作为相对于基线的提升来呈现。
机器人上·空跑 感知 10/12 · 理解 12/12 · 解释 10/12 · 端到端 10/12
机器人上的认知基准（12 个场景）——感知 · 理解 · 解释 实测 2.3× – 14.3×
bf16 吞吐 vs FP32（ACT）
尚未测量
- 机器人上的任务成功率——机械臂回路为空跑（尚无物理动作）。
- NPU（XDNA2）执行——INT8 工具链可验证，但未编译出 DPU 子图，仅 iGPU/CPU 回退。
- 收敛（微调止于 300 步）、能耗与多任务泛化。