Video2GUI: 大規模インタラクション軌跡の合成による汎用GUIエージェント事前学習

教師なし軌跡合成が、エンタープライズ規模でのクロスプラットフォームGUI自動化のデータボトルネックを解消する方法

はじめに: GUI自動化のパラドックスとデータ不足がボトルネックとなる理由

エンタープライズソフトウェアの状況は、一つのパラドックスに陥っています。マルチモーダル大規模言語モデル（LLM）が複雑な推論タスクで人間レベルのパフォーマンスを達成している一方で、企業のソフトウェアインタラクションの70%は依然として手動のGUIベースのワークフローに依存していますMcKinsey & Company。このギャップは大きな自動化の機会を示していますが、その実現への道は根本的な制約—GUIエージェントトレーニングにおけるデータ不足—によって阻まれています。RICO（約66,000軌跡）やMind2Web（約2,000軌跡）といった既存のデータセットは、ウェブ、モバイル、デスクトッププラットフォームを横断して動作できる汎用エージェントをトレーニングするには桁違いに小さすぎますarXiv (RICOおよびMind2Web論文)。Video2GUIフレームワークは、このボトルネックに対する解決策として登場し、ラベル付きデータへの依存を減らすために、教師なし学習技術を用いて生の画面録画からインタラクション軌跡を抽出しますarXiv。

マルチモーダルLLMの台頭とGUIエージェントの機会

マルチモーダルLLM（例：GPT-4V、Gemini、LLaVA）とUI理解のための基盤モデル（例：MicrosoftのUI-T5、GoogleのScreen Understandingモデル）の融合により、GUI自動化における新たな可能性が開かれましたMicrosoft Research。これらのモデルは以下の能力を有しています：

• 階層的なUI構造の解析（例：DOMツリー、Androidのビュー階層）を生ピクセルから行う。
• 自然言語指示の基盤化（例：「ベルリンへのフライトを予約」）を特定のUI要素（例：「出発都市」のドロップダウン）に対応付ける。
• 複数ステップの軌跡の計画（例：「ログイン → 設定に移動 → プロフィール画像を更新」）を異種プラットフォーム間で行う。

これらの進歩にもかかわらず、展開は依然として限定的な高付加価値のユースケース（例：カスタマーサポートボット、データ入力自動化）に留まっています。これは、多様で大規模なトレーニングデータの不足によるものです。このギャップを理解するための有用なフレームワークとして、Physical AI Stackがあります：

• SENSE：GUIエージェントは、動的なUI状態（例：モーダルダイアログ、ローディングスピナー）を解像度、アスペクト比、プラットフォームを問わず認識する必要があります。
• REASON：エージェントは、UIパラダイムを横断して一般化（例：ウェブフォーム vs. モバイルのスワイプジェスチャー）し、未知のアプリケーションに適応する必要があります。
• ORCHESTRATE：エンタープライズ展開には、エッジデバイス（例：RPAボット）とクラウド推論（例：LLMベースのプランニング）間の調整が求められます。

現在のデータセットは、これらのレイヤーを包括的にカバーできていません。例えば：

• RICOはモバイルアプリに焦点を当てており、ウェブ/デスクトップのカバレッジが不足していますACM Digital Library。
• Mind2Webはウェブのみに限定され、2,000軌跡ではクロスプラットフォームの一般化には不十分ですarXiv。
• 手動キュレーション（例：クラウドソーシング）は、複雑なワークフローでは1軌跡あたり0.50ドル以上のコストがかかり、スケールに対応できませんarXiv (Video2GUI論文)。

経済的な必然性: GUI自動化が重要な機会である理由

企業は年間1.8兆ドルをデジタルトランスフォーメーションに投資していますが、ソフトウェアインタラクションの70%は依然として手動で行われていますMcKinsey & Company。GUI自動化は、この非効率性を解消するために以下の点で貢献します：

1. 運用コストの削減：請求書処理や顧客オンボーディングなどの反復作業を自動化することで、労働コストを削減。
2. 精度の向上：GUIエージェントは、データ入力時のヒューマンエラー（例：タイプミス、クリックミス）を排除。
3. 24時間365日の運用：人間の作業者とは異なり、エージェントは継続的に稼働可能（例：夜間のバッチ処理）。

しかし、汎用エージェントの不足により、企業は以下の課題に直面しています：

• 各アプリケーションに個別のボットを構築（例：SAP用、Salesforce用）し、メンテナンスのオーバーヘッドが増加。
• 脆弱なセレクター（例：XPath、CSS）に依存し、UIの更新で破綻。
• 低複雑度のタスク（例：フォーム入力）に自動化が限定され、一般化が不十分。

データ不足のボトルネック: 既存データセットが失敗する理由

汎用GUIエージェントをトレーニングするためには、データセットが以下の3つの基準を満たす必要があります：

1. 規模：エッジケース（例：エラー状態、稀なUIパターン）をカバーするために、数百万の軌跡が必要。
2. 多様性：クロスプラットフォーム（ウェブ、モバイル、デスクトップ）およびクロスドメイン（例：Eコマース、ヘルスケア）のタスクをカバー。
3. 現実性：軌跡は、現実世界のノイズ（例：ネットワーク遅延、部分的なオクルージョン）を反映。

既存のデータセットは、これらの基準すべてにおいて不十分です：

主な失敗モード：

• 手動アノテーションはスケールしない：単一の軌跡（例：「フライトを予約」）のラベリングには5～10分かかり、1サンプルあたり0.50～1.00ドルのコストが発生しますarXiv (Video2GUI論文)。
• 合成データは非現実的：ルールベースのジェネレーター（例：WebGUM）は、決定論的でノイズのない軌跡を生成し、現実世界のUIへの一般化に失敗。
• プラットフォームのサイロ化：ウェブデータでトレーニングされたエージェントは、モバイル/デスクトップに転移できません（例：「スワイプ」ジェスチャーはウェブには存在しない）。

Video2GUI: 教師なし軌跡合成が力の倍増をもたらす

Video2GUIは、問題を再定義し、ラベル付き軌跡に依存するのではなく、生の画面録画をデータソースとして扱います。そのパイプラインは4つのステージで構成されています：

1. キャプチャ：生の画面録画（例：デスクトップセッション、モバイルアプリの使用）をOpenCVやFFmpegなどのツールを使用して記録。
2. 解析：UI要素（例：ボタン、テキストフィールド）とアクション（例：クリック、スクロール）を抽出：
   • OCR（Tesseract）によるテキスト抽出。
   • 物体検出（YOLO、Faster R-CNN）によるUI要素の特定。
   • コントラスティブ学習（SimCLR）による類似UI状態のクラスタリング。
3. 合成：合成軌跡を生成：
   • 妥当なアクションシーケンスのサンプリング（例：「ログインをクリック → 資格情報を入力 → 送信」）。
   • ノイズの付加（例：ランダムな遅延、部分的なオクルージョン）により現実性を向上。
4. 検証：以下を用いて軌跡をフィルタリング：
   • ヒューリスティクス（例：「ログインフォームには送信ボタンが必要」）。
   • ヒューマン・イン・ザ・ループ（例：クラウドソーシングによる品質チェックの一部サンプル）。

主なイノベーション：

• 教師なし学習：自己教師ありコントラスティブ学習（SimCLR）を活用し、類似のUI状態をグループ化することで、手動ラベルの必要性を排除arXiv (Video2GUI論文)。
• クロスプラットフォームの一般化：統一されたアクション空間（例：「CLICK」、「TYPE」、「SCROLL」）を使用して、ウェブ、モバイル、デスクトップ向けの軌跡を合成。
• コスト効率：手動ラベリングと比較して、アノテーションコストを50～70%削減arXiv (Video2GUI論文)。

既存データセットとのVideo2GUIのベンチマーク比較

Video2GUIの120万の合成軌跡は、規模と多様性において既存のデータセットを大きく上回ります：

パフォーマンスへの影響：

• Video2GUIでトレーニングされたエージェントは、クロスプラットフォームシナリオ（例：「ホテルを予約」をウェブとモバイルで実行）において、タスク完了率が20～30%向上arXiv (Video2GUI論文)。
• 未知のアプリケーションへの一般化：Video2GUIでトレーニングされたエージェントは、ゼロショットタスク（例：新しいCRMシステムのナビゲーション）において、RICOやMind2Webでトレーニングされたエージェントよりも15～25%優れたパフォーマンスを発揮。

Physical AI Stack: エンタープライズワークフローにおけるVideo2GUIの展開

Video2GUIは、Physical AI Stackの各レイヤーの要件に対応することで、以下の役割を果たします：

EU AI Actへの準拠：

• Video2GUIのオンプレミス展開により、データ主権を確保（例：画面録画が企業ネットワークを離れない）。
• 透明性：合成軌跡は監査可能（例：検証ログ、ヒューマン・イン・ザ・ループチェック）。
• リスク軽減：高リスクのユースケース（例：ヘルスケア、銀行）を低リスクのタスク（例：カスタマーサポート）から分離可能European Parliament (EU AI Act)。

コアコンセプト: インタラクション軌跡、マルチモーダル基盤化、およびPhysical AI Stack

1. インタラクション軌跡の正式な定義

GUI自動化におけるインタラクション軌跡とは、時間的に順序付けられたタプルのシーケンス$\tau = {(s_t, a_t, r_t, s_{t+1})}_{t=1}^T$であり、以下の要素で構成されます：

• $s_t \in \mathcal{S}$は、時刻$t$における状態で、以下を組み合わせたマルチモーダルテンソルとして表現されます：
  • 視覚状態：$H$