フルスタック Physical AI
知覚から動作まで — 視覚言語モデルと視覚言語行動モデルを、実機ロボット上で、決定論的な安全境界とともに。
知覚
ポリシー（VLA）
制御
安全モニター
4 段階のパイプライン：知覚、次にポリシー（視覚言語行動モデル）、次に制御、次に独立した安全モニター。
デモで動くロボットは、配備できるロボットではありません。私たちは知覚から動作までのシステムをフィージビリティから本番へと進めます — 適切なモデル（VLM か VLA か）を選び、シミュレーションで検証し、すべての動作を独立した安全境界で制約して、モデルの誤りが危険な動きにならないようにします。
センサーから動作までのパイプライン（知覚 → ポリシー → 制御）、VLM と VLA の違い（VLM は知覚・推論し、VLA は動作を出力）、シミュレーションと sim-to-real を伴う学習・評価ループ、そして決定論的な安全境界 — ポリシーが提案し、独立したモニターが制約します。
ROS 2；視覚言語行動ポリシー（π ファミリー、SmolVLA、NVIDIA Isaac GR00T）と VLM；データ・学習・評価のための LeRobot；実演のためのテレオペレーション；シミュレーション（Isaac Sim/Lab）と sim-to-real；微調整（LoRA/QLoRA）と閉ループ評価；ランタイム安全モニター、動作範囲、非常停止。
学習モデルが提案し、決定論的な境界が判定します。すべてのモーター指令は、ハードウェアに到達する前に独立した安全モニターを通過します。
センサーから、知覚、VLM と VLA、プランナーと制御器を経て、アクチュエータへのアクセスを制御する独立した安全モニターへと流れ、センサーへフィードバックします。
決定論的な安全境界
安全モニターの ACCEPT のみが指令をアクチュエータに到達させ、REJECT は安全な状態へ強制移行します。
閉ループ：アクチュエータと環境の状態がセンサーへフィードバックされます。
役割の異なる 2 つのモデルクラス。モーターに届くのは VLA の出力だけ — だから決定論的な安全境界を通過しなければならないのも VLA の出力だけです。
| 観点 | VLM — 視覚言語モデル | VLA — 視覚言語行動 |
|---|---|---|
| 出力 | テキスト / 構造化言語 | ロボットの動作 / アクションチャンク |
| 答える問い | 「何を見ているのか？」 | 「関節は今どう動くべきか？」 |
| 役割 | 高レベルの知覚・推論・接地 | ハードウェア上でループを閉じる |
| 標準的なレート | ~1 Hz / オンデマンド | ~10–50 Hz |
| 学習データ | 画像とテキストのペア | テレオペレーションのデモ（+ Open X-Embodiment） |
| 失敗モード | 幻覚による計画 | 危険な動き — 安全モニターを必須とする |
68.71 GB
1.08 → 0.13 (300 steps)
0% → 96%
12 / 12
2.3× – 14.3×