Full-Stack Physical AI
Από την αντίληψη στη δράση — μοντέλα όρασης-γλώσσας και όρασης-γλώσσας-δράσης, σε πραγματικά ρομπότ, με ντετερμινιστικό όριο ασφάλειας.
Αντίληψη
Πολιτική (VLA)
Έλεγχος
Επόπτης ασφάλειας
Ένα pipeline τεσσάρων σταδίων: αντίληψη, μετά η πολιτική (ένα μοντέλο όρασης-γλώσσας-δράσης), μετά έλεγχος, μετά ανεξάρτητος επόπτης ασφάλειας.
Ένα ρομπότ που δουλεύει σε επίδειξη δεν είναι ρομπότ που μπορείς να αναπτύξεις. Φέρνουμε συστήματα αντίληψης-σε-δράση από τη σκοπιμότητα στην παραγωγή — επιλέγοντας το σωστό μοντέλο (VLM ή VLA), επικυρώνοντας σε προσομοίωση, και περιορίζοντας κάθε δράση με ανεξάρτητο όριο ασφάλειας, ώστε το λάθος ενός μοντέλου να μη γίνεται επικίνδυνη κίνηση.
Το pipeline αισθητήρα-σε-δράση (αντίληψη → πολιτική → έλεγχος), η διάκριση VLM/VLA (ένα VLM αντιλαμβάνεται και συλλογίζεται· ένα VLA παράγει δράσεις), ένας βρόχος εκπαίδευσης και αξιολόγησης με προσομοίωση και sim-to-real, και ένα ντετερμινιστικό όριο ασφάλειας — η πολιτική προτείνει, ένας ανεξάρτητος επόπτης περιορίζει.
ROS 2· πολιτικές όρασης-γλώσσας-δράσης (οικογένεια π, SmolVLA, NVIDIA Isaac GR00T) και VLM· LeRobot για δεδομένα, εκπαίδευση και αξιολόγηση· τηλεχειρισμός για επιδείξεις· προσομοίωση (Isaac Sim/Lab) και sim-to-real· fine-tuning (LoRA/QLoRA) και αξιολόγηση κλειστού βρόχου· επόπτης ασφάλειας πραγματικού χρόνου, φάκελος λειτουργίας και διακοπή έκτακτης ανάγκης.
Τα εκπαιδευμένα μοντέλα προτείνουν· ένα ντετερμινιστικό όριο αποφασίζει. Κάθε εντολή κινητήρα περνά από ανεξάρτητο επόπτη ασφάλειας πριν φτάσει στο υλικό.
Ροή από τους αισθητήρες μέσω της αντίληψης, του VLM και του VLA, του σχεδιαστή και του ελεγκτή, προς έναν ανεξάρτητο επόπτη ασφάλειας που ελέγχει την πρόσβαση στους επενεργητές, με ανατροφοδότηση προς τους αισθητήρες.
Ντετερμινιστικό όριο ασφάλειας
Μόνο το ACCEPT του επόπτη ασφάλειας αφήνει μια εντολή να φτάσει στους επενεργητές· το REJECT επιβάλλει ασφαλή κατάσταση.
Κλειστός βρόχος: η κατάσταση των επενεργητών και του περιβάλλοντος ανατροφοδοτείται στους αισθητήρες.
Δύο κλάσεις μοντέλων με διαφορετικές δουλειές. Μόνο η έξοδος του VLA φτάνει στους κινητήρες — άρα μόνο η έξοδος του VLA πρέπει να περάσει το ντετερμινιστικό όριο ασφάλειας.
| Διάσταση | VLM — μοντέλο όρασης-γλώσσας | VLA — όρασης-γλώσσας-δράσης |
|---|---|---|
| Έξοδος | Κείμενο / δομημένη γλώσσα | Δράσεις ρομπότ / τμήματα δράσεων |
| Ερώτηση που απαντά | «Τι κοιτάζω;» | «Τι πρέπει να κάνουν τώρα οι αρθρώσεις;» |
| Ρόλος | Αντίληψη υψηλού επιπέδου, συλλογισμός, αγκύρωση | Κλείνει τον βρόχο στο υλικό |
| Τυπικός ρυθμός | ~1 Hz / κατ' απαίτηση | ~10–50 Hz |
| Εκπαιδεύεται σε | Ζεύγη εικόνας-κειμένου | Επιδείξεις τηλεχειρισμού (+ Open X-Embodiment) |
| Τρόπος αστοχίας | Παραισθησιακό σχέδιο | Επικίνδυνη κίνηση — επιβάλλει επόπτη ασφάλειας |
68.71 GB
1.08 → 0.13 (300 steps)
0% → 96%
12 / 12
2.3× – 14.3×