コンテンツへスキップ

ケイパビリティ · エンゲージメント内での適用

ロボティクス・VLM・VLA

知覚から動作へ。対象ロボットと運用環境に合わせてモデル、制御インターフェース、保護機能を選定・検証します。

ロボティクスプログラムを相談する

Hyperionはプロダクトリーダーシップと、範囲を定めたモデルエンジニアリングおよびサイバーセキュリティを組み合わせます。技術業務では設定、適応、統合、引き継ぎを定義し、専門試験と独立した適格性評価を明確に合意します。

提案は動作の権限ではない
  1. 観測

    センサー、状態、不確実性

  2. 提案

    権限を制限した学習済みポリシー

  3. ローカルで制約

    制御限界と独立した保護機能

  4. 動作と観測

    次へ進む前に物理的結果を確認

制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。

アーキテクチャの視点

  1. 観測

  2. 提案

  3. ローカルで制約

  4. 動作と観測

制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。

観測 → 提案 → ローカルで制約 → 動作と観測

デモで動くロボットは、配備できるロボットではありません。知覚から動作へ。対象ロボットと運用環境に合わせてモデル、制御インターフェース、保護機能を選定・検証します。 Hyperionは製品判断と受入基準を主導します。範囲を定めたMissionには、Hyperionが行う具体的な実装を含められます。残る開発、専門的な保証、運用の責任は提案書で割り当てます。

センシング、学習モデルの提案、制御、保護を分離し、各インターフェース、責任者、適格性の証拠を定義します。 制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。

ROS 2;視覚言語行動ポリシー(π ファミリー、SmolVLA、NVIDIA Isaac GR00T)と VLM;データ・学習・評価のための LeRobot;実演のためのテレオペレーション;シミュレーション(Isaac Sim/Lab)と sim-to-real;微調整(LoRA/QLoRA)と閉ループ評価;ランタイム安全モニター、動作範囲、非常停止。

学習モデルの提案と制御・保護を分離

VLMとVLAは異なる役割を担い、構成はタスクとコントローラーに応じて決まります。物理動作には権限を定めたインターフェース、制御限界、ロボット固有の安全証拠が必要です。

  • 入力

    センサー

    カメラ、深度、力・トルク、自己受容感覚

  • 入力

    知覚

    フュージョン、SLAM、6-DoF 姿勢

  • 学習

    VLM

    目標を接地する — 「何を見ているのか?」

  • 学習

    VLA

    ロボットとコントローラーに適合する動作表現

  • 設定済み制御

    プランナーと制御

    対象機で確認した軌道・制御の時間予算

  • 安全

    安全モニター

    独立した保護機能。停止と復旧を運用条件で検証

  • 出力

    アクチュエータ

    物理世界での動き

学習モデルの提案と制御・保護を分離

制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。

閉ループ:アクチュエータと環境の状態がセンサーへフィードバックされます。

正確なモデル・実行環境・ハードウェア・制御統合を測定

VLMとVLAは異なる役割を担い、構成はタスクとコントローラーに応じて決まります。物理動作には権限を定めたインターフェース、制御限界、ロボット固有の安全証拠が必要です。 制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。

VLMとVLA:異なる出力契約

出力契約、ロボットへの適合性、統合の証拠を比較します。モデルの種類だけで物理配備の準備完了とは判断できません。

制御・停止・復旧には対象ロボット固有の適格性確認が必要です。サイバーセキュリティは別の保証範囲です。
観点VLM — 視覚言語モデルVLA — 視覚言語行動
出力テキスト / 構造化言語ロボットの動作 / アクションチャンク
答える問い「何を見ているのか?」「関節は今どう動くべきか?」
役割高レベルの知覚・推論・接地ロボットとコントローラーに適合する動作表現
時間特性の検証正確なモデル・実行環境・ハードウェア・制御統合を測定正確なモデル・実行環境・ハードウェア・制御統合を測定
学習の証拠対象版のモダリティ、データ権利、タスク範囲を確認対象版のデモデータ、ロボット形態、動作表現を確認
失敗モード幻覚による計画誤った危険な提案。限界、拒否、復旧を検証

測定した内容

  • 実測

    68.71 GB

    π0.5 フル微調整 — ピークメモリ
  • 実測

    1.08 → 0.13 (300 steps)

    実データ微調整(LIBERO、言語条件付き)— 損失
  • シミュレーション

    48/50

    シミュレーション成功(LIBERO-Spatial)、微調整後のモデル

    微調整後のモデル:48/50 エピソード(96%)。学習で使用した LIBERO-Spatial の10タスク、シミュレーター上の新しい初期配置、LeRobot 公式評価器。学習シードは1つ、別途実施した1,000ステップの微調整。これは単独のパイロット結果であり、ベースラインからの向上として示すものではありません。

  • ロボット上・ドライラン

    知覚 10/12・理解 12/12・解釈 10/12・エンドツーエンド 10/12

    ロボット上の認知ベンチマーク(12シーン)— 知覚・理解・解釈
  • 実測

    2.3× – 14.3×

    bf16 スループット対 FP32(ACT)

未測定の項目

  • ロボット上のタスク成功率 — アームのループはドライラン(物理的な動作はまだ)。
  • NPU(XDNA2)実行 — INT8 ツールチェーンは検証できるが DPU サブグラフは未コンパイル、iGPU/CPU フォールバックのみ。
  • 収束(微調整は300ステップで停止)、エネルギー、マルチタスク汎化。

身体化 AI の取り組みを相談する