الذكاء الاصطناعي الفيزيائي المتكامل
من الإدراك إلى الفعل — نماذج الرؤية-اللغة والرؤية-اللغة-الفعل، على روبوتات حقيقية، بحد سلامة حتمي.
الإدراك
السياسة (VLA)
التحكّم
مراقب السلامة
خط بأربع مراحل: الإدراك، ثم السياسة (نموذج رؤية-لغة-فعل)، ثم التحكّم، ثم مراقب سلامة مستقل.
الروبوت الذي يعمل في عرض توضيحي ليس روبوتًا يمكنك نشره. ننقل أنظمة الإدراك-إلى-الفعل من الجدوى إلى الإنتاج — باختيار النموذج المناسب (VLM أو VLA)، والتحقق في المحاكاة، وتقييد كل فعل بحد سلامة مستقل، حتى لا يتحول خطأ النموذج إلى حركة غير آمنة.
مسار الاستشعار-إلى-الفعل (الإدراك ← السياسة ← التحكم)، والتمييز بين VLM وVLA (الـ VLM يدرك ويستدل؛ والـ VLA يُخرج أفعالًا)، وحلقة تدريب وتقييم مع المحاكاة وsim-to-real، وحد سلامة حتمي — السياسة تقترح، ومراقب مستقل يقيّد.
ROS 2؛ سياسات الرؤية-اللغة-الفعل (عائلة π، SmolVLA، NVIDIA Isaac GR00T) وVLM؛ LeRobot للبيانات والتدريب والتقييم؛ التشغيل عن بُعد للعروض؛ المحاكاة (Isaac Sim/Lab) وsim-to-real؛ الضبط الدقيق (LoRA/QLoRA) والتقييم في حلقة مغلقة؛ مراقب سلامة آني ونطاق تشغيل وإيقاف طارئ.
النماذج المتعلِّمة تقترح؛ وحدٌّ حتمي يحسم. يمرّ كل أمر محرّك عبر مراقب سلامة مستقل قبل أن يصل إلى العتاد.
تدفّق من المستشعرات عبر الإدراك، وVLM وVLA، والمُخطِّط والمتحكّم، إلى مراقب سلامة مستقل يتحكّم في وصول الأوامر إلى المُشغِّلات، مع تغذية راجعة إلى المستشعرات.
حد سلامة حتمي
وحده ACCEPT من مراقب السلامة يسمح للأمر بالوصول إلى المُشغِّلات؛ أما REJECT فيفرض حالة آمنة.
حلقة مغلقة: حالة المُشغِّلات والبيئة تُغذّى راجعةً إلى المستشعرات.
فئتان من النماذج بمهام مختلفة. وحدها مخرجات VLA تصل إلى المحرّكات — لذا وحدها مخرجات VLA يجب أن تجتاز حد السلامة الحتمي.
| البُعد | VLM — نموذج الرؤية-اللغة | VLA — الرؤية-اللغة-الفعل |
|---|---|---|
| المخرجات | نص / لغة مهيكلة | أفعال الروبوت / حِزَم أفعال |
| السؤال الذي يجيب عنه | «ما الذي أنظر إليه؟» | «ماذا ينبغي أن تفعل المفاصل الآن؟» |
| الدور | إدراك رفيع المستوى، استدلال، إرساء | يُغلق الحلقة على العتاد |
| المعدّل النموذجي | ~1 Hz / عند الطلب | ~10–50 Hz |
| مُدرَّب على | أزواج صورة-نص | عروض تشغيل عن بُعد (+ Open X-Embodiment) |
| نمط الإخفاق | خطة مهلوسة | حركة غير آمنة — تستلزم مراقب سلامة |
68.71 GB
1.08 → 0.13 (300 steps)
0% → 96%
12 / 12
2.3× – 14.3×