全栈 Physical AI
从感知到动作——在真实机器人上运行视觉-语言与视觉-语言-动作模型，并具备确定性安全边界。
感知
策略（VLA）
控制
安全监视器
四阶段流水线：感知，然后是策略（视觉-语言-动作模型），然后是控制，然后是独立的安全监视器。
能在演示里运行的机器人，并不是可以部署的机器人。我们让从感知到动作的系统从可行性走向生产——选择合适的模型（VLM 还是 VLA），在仿真中验证，并用独立的安全边界约束每个动作，使模型的失误不会变成不安全的运动。
从传感器到动作的流水线（感知 → 策略 → 控制）、VLM 与 VLA 的区别（VLM 负责感知与推理，VLA 输出动作）、带仿真与 sim-to-real 的训练与评估闭环，以及确定性安全边界——策略负责提议，独立监视器负责约束。
ROS 2；视觉-语言-动作策略（π 系列、SmolVLA、NVIDIA Isaac GR00T）与 VLM；用于数据、训练与评估的 LeRobot；用于示教的遥操作；仿真（Isaac Sim/Lab）与 sim-to-real；微调（LoRA/QLoRA）与闭环评估；运行时安全监视器、运行包线与紧急停止。
习得模型负责提议，确定性边界负责裁定。每条电机指令在到达硬件之前都要经过独立的安全监视器。
数据流从传感器经过感知、VLM 与 VLA、规划器与控制器，到达把关执行器的独立安全监视器，并反馈回传感器。
确定性安全边界
只有安全监视器的 ACCEPT 才允许指令到达执行器；REJECT 则强制进入安全状态。
闭环：执行器与环境的状态反馈回传感器。
两类承担不同任务的模型。只有 VLA 的输出会到达电机——因此只有 VLA 的输出必须通过确定性安全边界。
| 维度 | VLM——视觉-语言模型 | VLA——视觉-语言-动作 |
|---|---|---|
| 输出 | 文本 / 结构化语言 | 机器人动作 / 动作块 |
| 它回答的问题 | “我在看什么？” | “关节现在该做什么？” |
| 角色 | 高层感知、推理、锚定 | 在硬件上闭合回路 |
| 典型频率 | ~1 Hz / 按需 | ~10–50 Hz |
| 训练数据 | 图文对 | 遥操作演示（+ Open X-Embodiment） |
| 失效模式 | 幻觉式计划 | 不安全的运动——必须配备安全监视器 |
68.71 GB
1.08 → 0.13 (300 steps)
0% → 96%
12 / 12
2.3× – 14.3×