ケイパビリティ · エンゲージメント内での適用
ロボティクス・VLM・VLA
知覚から動作へ。対象ロボットと運用環境に合わせてモデル、制御インターフェース、保護機能を選定・検証します。
ロボティクスプログラムを相談するHyperionはプロダクトリーダーシップと、範囲を定めたモデルエンジニアリングおよびサイバーセキュリティを組み合わせます。技術業務では設定、適応、統合、引き継ぎを定義し、専門試験と独立した適格性評価を明確に合意します。
- 観測
センサー、状態、不確実性
- 提案
権限を制限した学習済みポリシー
- ローカルで制約
制御限界と独立した保護機能
- 動作と観測
次へ進む前に物理的結果を確認
制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。
アーキテクチャの視点
観測
提案
ローカルで制約
動作と観測
観測 → 提案 → ローカルで制約 → 動作と観測
デモで動くロボットは、配備できるロボットではありません。知覚から動作へ。対象ロボットと運用環境に合わせてモデル、制御インターフェース、保護機能を選定・検証します。 Hyperionは製品判断と受入基準を主導します。範囲を定めたMissionには、Hyperionが行う具体的な実装を含められます。残る開発、専門的な保証、運用の責任は提案書で割り当てます。
センシング、学習モデルの提案、制御、保護を分離し、各インターフェース、責任者、適格性の証拠を定義します。 制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。
ROS 2;視覚言語行動ポリシー(π ファミリー、SmolVLA、NVIDIA Isaac GR00T)と VLM;データ・学習・評価のための LeRobot;実演のためのテレオペレーション;シミュレーション(Isaac Sim/Lab)と sim-to-real;微調整(LoRA/QLoRA)と閉ループ評価;ランタイム安全モニター、動作範囲、非常停止。
学習モデルの提案と制御・保護を分離
VLMとVLAは異なる役割を担い、構成はタスクとコントローラーに応じて決まります。物理動作には権限を定めたインターフェース、制御限界、ロボット固有の安全証拠が必要です。
- 入力
センサー
カメラ、深度、力・トルク、自己受容感覚
- 入力
知覚
フュージョン、SLAM、6-DoF 姿勢
- 学習
VLM
目標を接地する — 「何を見ているのか?」
- 学習
VLA
ロボットとコントローラーに適合する動作表現
- 設定済み制御
プランナーと制御
対象機で確認した軌道・制御の時間予算
- 安全
安全モニター
独立した保護機能。停止と復旧を運用条件で検証
- 出力
アクチュエータ
物理世界での動き
学習モデルの提案と制御・保護を分離
制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。
閉ループ:アクチュエータと環境の状態がセンサーへフィードバックされます。
VLMとVLAは異なる役割を担い、構成はタスクとコントローラーに応じて決まります。物理動作には権限を定めたインターフェース、制御限界、ロボット固有の安全証拠が必要です。 制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。
VLMとVLA:異なる出力契約
出力契約、ロボットへの適合性、統合の証拠を比較します。モデルの種類だけで物理配備の準備完了とは判断できません。
| 観点 | VLM — 視覚言語モデル | VLA — 視覚言語行動 |
|---|---|---|
| 出力 | テキスト / 構造化言語 | ロボットの動作 / アクションチャンク |
| 答える問い | 「何を見ているのか?」 | 「関節は今どう動くべきか?」 |
| 役割 | 高レベルの知覚・推論・接地 | ロボットとコントローラーに適合する動作表現 |
| 時間特性の検証 | 正確なモデル・実行環境・ハードウェア・制御統合を測定 | 正確なモデル・実行環境・ハードウェア・制御統合を測定 |
| 学習の証拠 | 対象版のモダリティ、データ権利、タスク範囲を確認 | 対象版のデモデータ、ロボット形態、動作表現を確認 |
| 失敗モード | 幻覚による計画 | 誤った危険な提案。限界、拒否、復旧を検証 |
測定した内容
実測 68.71 GB
π0.5 フル微調整 — ピークメモリ 実測 1.08 → 0.13 (300 steps)
実データ微調整(LIBERO、言語条件付き)— 損失 シミュレーション 48/50
シミュレーション成功(LIBERO-Spatial)、微調整後のモデル 微調整後のモデル:48/50 エピソード(96%)。学習で使用した LIBERO-Spatial の10タスク、シミュレーター上の新しい初期配置、LeRobot 公式評価器。学習シードは1つ、別途実施した1,000ステップの微調整。これは単独のパイロット結果であり、ベースラインからの向上として示すものではありません。
ロボット上・ドライラン 知覚 10/12・理解 12/12・解釈 10/12・エンドツーエンド 10/12
ロボット上の認知ベンチマーク(12シーン)— 知覚・理解・解釈 実測 2.3× – 14.3×
bf16 スループット対 FP32(ACT)
未測定の項目
- ロボット上のタスク成功率 — アームのループはドライラン(物理的な動作はまだ)。
- NPU(XDNA2)実行 — INT8 ツールチェーンは検証できるが DPU サブグラフは未コンパイル、iGPU/CPU フォールバックのみ。
- 収束(微調整は300ステップで停止)、エネルギー、マルチタスク汎化。