Μετάβαση στο περιεχόμενο

Ικανότητα · εφαρμοσμένη εντός ανάθεσης

Ρομποτική, VLM & VLA

Από αντίληψη σε δράση: επιλογή και τεκμηρίωση μοντέλων, διεπαφών ελέγχου και προστασιών για το πραγματικό ρομπότ και περιβάλλον.

Συζητήστε ένα ρομποτικό πρόγραμμα

Η Hyperion συνδυάζει ηγεσία προϊόντος με σαφώς οριοθετημένη μηχανική μοντέλων και κυβερνοασφάλεια. Κάθε τεχνική ανάθεση ορίζει διαμόρφωση, προσαρμογή, ενσωμάτωση και παράδοση· οι εξειδικευμένες δοκιμές και η ανεξάρτητη αξιολόγηση συμφωνούνται ρητά.

Η πρόταση δεν είναι άδεια κίνησης
  1. Παρατήρηση

    Αισθητήρες, κατάσταση και αβεβαιότητα

  2. Πρόταση

    Εκμαθημένη πολιτική με περιορισμένη εξουσία

  3. Τοπικοί περιορισμοί

    Όρια ελέγχου και ανεξάρτητες προστασίες

  4. Δράση και παρατήρηση

    Επαλήθευση φυσικού αποτελέσματος πριν τη συνέχεια

Έλεγχος, διακοπή και ανάκαμψη απαιτούν τεκμηρίωση για το συγκεκριμένο ρομπότ. Η κυβερνοασφάλεια έχει χωριστό πεδίο διασφάλισης.

Όψη αρχιτεκτονικής

  1. Παρατήρηση

  2. Πρόταση

  3. Τοπικοί περιορισμοί

  4. Δράση και παρατήρηση

Έλεγχος, διακοπή και ανάκαμψη απαιτούν τεκμηρίωση για το συγκεκριμένο ρομπότ. Η κυβερνοασφάλεια έχει χωριστό πεδίο διασφάλισης.

Παρατήρηση → Πρόταση → Τοπικοί περιορισμοί → Δράση και παρατήρηση

Ένα ρομπότ που δουλεύει σε επίδειξη δεν είναι ρομπότ που μπορείτε να αναπτύξετε. Από αντίληψη σε δράση: επιλογή και τεκμηρίωση μοντέλων, διεπαφών ελέγχου και προστασιών για το πραγματικό ρομπότ και περιβάλλον. Η Hyperion καθοδηγεί τις αποφάσεις προϊόντος και τα κριτήρια αποδοχής. Μια οριοθετημένη Mission μπορεί να περιλαμβάνει συγκεκριμένη υλοποίηση από τη Hyperion. Η πρόταση κατανέμει τις υπόλοιπες ευθύνες μηχανικής, εξειδικευμένης διασφάλισης και λειτουργίας.

Διαχωρίστε αισθητήρες, εκμαθημένες προτάσεις, έλεγχο και προστασίες. Ορίστε διεπαφές, υπευθύνους και τεκμήρια καταλληλότητας. Έλεγχος, διακοπή και ανάκαμψη απαιτούν τεκμηρίωση για το συγκεκριμένο ρομπότ. Η κυβερνοασφάλεια έχει χωριστό πεδίο διασφάλισης.

ROS 2· πολιτικές όρασης-γλώσσας-δράσης (οικογένεια π, SmolVLA, NVIDIA Isaac GR00T) και VLM· LeRobot για δεδομένα, εκπαίδευση και αξιολόγηση· τηλεχειρισμός για επιδείξεις· προσομοίωση (Isaac Sim/Lab) και sim-to-real· fine-tuning (LoRA/QLoRA) και αξιολόγηση κλειστού βρόχου· επόπτης ασφάλειας πραγματικού χρόνου, φάκελος λειτουργίας και διακοπή έκτακτης ανάγκης.

Διαχωρισμός εκμαθημένων προτάσεων, ελέγχου και προστασίας

Τα VLM και VLA έχουν διακριτούς ρόλους· η αρχιτεκτονική εξαρτάται από την εργασία και τον ελεγκτή. Μια πρόταση απαιτεί εξουσιοδοτημένη διεπαφή, όρια ελέγχου και τεκμήρια ασφάλειας για το ρομπότ.

  • Είσοδος

    Αισθητήρες

    Κάμερες, βάθος, δύναμη-ροπή, ιδιοδεκτικότητα

  • Είσοδος

    Αντίληψη

    Σύντηξη, SLAM, στάση 6-DoF

  • Εκπαιδευμένο

    VLM

    Αγκυρώνει τον στόχο — «Τι κοιτάζω;»

  • Εκπαιδευμένο

    VLA

    Αναπαραστάσεις δράσης συμβατές με ρομπότ και ελεγκτή

  • Ρυθμισμένος έλεγχος

    Σχεδιαστής & έλεγχος

    Όρια τροχιάς και ελέγχου τεκμηριωμένα στη συσκευή

  • Ασφάλεια

    Επόπτης ασφάλειας

    Ανεξάρτητες προστασίες· διακοπή και ανάκαμψη ελεγμένες στο πλαίσιο

  • Έξοδος

    Επενεργητές

    Κίνηση στον φυσικό κόσμο

Διαχωρισμός εκμαθημένων προτάσεων, ελέγχου και προστασίας

Έλεγχος, διακοπή και ανάκαμψη απαιτούν τεκμηρίωση για το συγκεκριμένο ρομπότ. Η κυβερνοασφάλεια έχει χωριστό πεδίο διασφάλισης.

Κλειστός βρόχος: η κατάσταση των επενεργητών και του περιβάλλοντος ανατροφοδοτείται στους αισθητήρες.

Μετρήστε συγκεκριμένο μοντέλο, runtime, υλικό και ενσωμάτωση ελέγχου

Τα VLM και VLA έχουν διακριτούς ρόλους· η αρχιτεκτονική εξαρτάται από την εργασία και τον ελεγκτή. Μια πρόταση απαιτεί εξουσιοδοτημένη διεπαφή, όρια ελέγχου και τεκμήρια ασφάλειας για το ρομπότ. Έλεγχος, διακοπή και ανάκαμψη απαιτούν τεκμηρίωση για το συγκεκριμένο ρομπότ. Η κυβερνοασφάλεια έχει χωριστό πεδίο διασφάλισης.

VLM και VLA: διαφορετικές συμβάσεις εξόδου

Συγκρίνετε σύμβαση εξόδου, συμβατότητα με το ρομπότ και τεκμήρια ενσωμάτωσης. Καμία κατηγορία μοντέλου δεν αποδεικνύει μόνη της ετοιμότητα φυσικής ανάπτυξης.

Έλεγχος, διακοπή και ανάκαμψη απαιτούν τεκμηρίωση για το συγκεκριμένο ρομπότ. Η κυβερνοασφάλεια έχει χωριστό πεδίο διασφάλισης.
ΔιάστασηVLM — μοντέλο όρασης-γλώσσαςVLA — όρασης-γλώσσας-δράσης
ΈξοδοςΚείμενο / δομημένη γλώσσαΔράσεις ρομπότ / τμήματα δράσεων
Ερώτηση που απαντά«Τι κοιτάζω;»«Τι πρέπει να κάνουν τώρα οι αρθρώσεις;»
ΡόλοςΑντίληψη υψηλού επιπέδου, συλλογισμός, αγκύρωσηΑναπαραστάσεις δράσης συμβατές με ρομπότ και ελεγκτή
Χρονική επαλήθευσηΜετρήστε συγκεκριμένο μοντέλο, runtime, υλικό και ενσωμάτωση ελέγχουΜετρήστε συγκεκριμένο μοντέλο, runtime, υλικό και ενσωμάτωση ελέγχου
Τεκμήρια εκπαίδευσηςΕλέγξτε την έκδοση: τροπικότητες, δικαιώματα δεδομένων και κάλυψη εργασιώνΕλέγξτε την έκδοση: επιδείξεις, ρομπότ και αναπαράσταση δράσεων
Τρόπος αστοχίαςΠαραισθησιακό σχέδιοΛανθασμένες ή επικίνδυνες προτάσεις· ελέγξτε όρια, άρνηση και ανάκαμψη

Τι μετρήσαμε

  • Μετρημένο

    68.71 GB

    Πλήρες fine-tune π0.5 — μέγιστη μνήμη
  • Μετρημένο

    1.08 → 0.13 (300 steps)

    Πραγματικό fine-tune (LIBERO, γλωσσικά εξαρτημένο) — απώλεια
  • Προσομοίωση

    48/50

    Επιτυχία προσομοίωσης (LIBERO-Spatial), προσαρμοσμένο μοντέλο

    Προσαρμοσμένο μοντέλο: 48/50 επεισόδια (96%). Δέκα εργασίες LIBERO-Spatial που υπήρχαν στην εκπαίδευση, νέες αρχικές θέσεις στον προσομοιωτή, επίσημος αξιολογητής LeRobot. Ένα seed εκπαίδευσης, ξεχωριστό fine-tune 1.000 βημάτων. Πρόκειται για μεμονωμένο πιλοτικό αποτέλεσμα· δεν παρουσιάζεται ως βελτίωση έναντι μιας βάσης αναφοράς.

  • Σε ρομπότ, ξηρή εκτέλεση

    αντίληψη 10/12 · κατανόηση 12/12 · ερμηνεία 10/12 · από άκρο σε άκρο 10/12

    Γνωστικό benchmark σε ρομπότ (12 σκηνές) — αντίληψη · κατανόηση · ερμηνεία
  • Μετρημένο

    2.3× – 14.3×

    Απόδοση bf16 vs FP32 (ACT)

Δεν έχει μετρηθεί ακόμη

  • Ποσοστό επιτυχίας εργασιών σε ρομπότ — ο βρόχος του βραχίονα είναι ξηρή εκτέλεση (καμία φυσική κίνηση ακόμη).
  • Εκτέλεση NPU (XDNA2) — η αλυσίδα INT8 επικυρώνεται, αλλά δεν μεταγλωττίστηκε υπογράφος DPU· μόνο iGPU/CPU.
  • Σύγκλιση (το fine-tune σταματά στα 300 βήματα), ενέργεια και γενίκευση πολλαπλών εργασιών.

Συζητήστε εργασία ενσώματης ΤΝ