Πώς να Εγκαταστήσετε τον NVIDIA Isaac Sim: Ένας Πρακτικός Οδηγός

TL;DR

• Εγκατάσταση του Isaac Sim μέσω του Omniverse Launcher στο Ubuntu 22.04 με GPU σειράς RTX
• Εισαγωγή ρομπότ χρησιμοποιώντας αρχεία USD/URDF και ρύθμιση του PhysX για ρεαλιστική φυσική
• Χρήση του Replicator για δημιουργία συνθετικών δεδομένων με domain randomization
• Σύνδεση με ROS 2 Humble μέσω πακέτων isaac_ros
• Εκτέλεση σε cloud instances με Omniverse Nucleus χωρίς γραφικό περιβάλλον

1. Εγκατάσταση και Απαιτήσεις Συστήματος

Απαιτήσεις Υλικού

Ο Isaac Sim απαιτεί:

• GPU: NVIDIA RTX 30/40 series ή A100/H100 (ελάχιστο RTX 2080 Ti)
• CPU: 8+ πυρήνες (συνιστώνται Intel Xeon/AMD Ryzen)
• RAM: 32GB+ (64GB για μεγάλες σκηνές)
• Αποθήκευση: 20GB+ SSD (προτιμώνται NVMe)

Προαπαιτούμενα Λογισμικά

# Ubuntu 22.04 (ελεγχθεί)
sudo apt update
sudo apt install -y nvidia-driver-535 nvidia-cuda-toolkit
sudo apt install -y ros-humble-desktop ros-humble-isaac-ros

Βήματα Εγκατάστασης

1. Λήψη του Omniverse Launcher

   wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
   sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
   sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
   sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
   sudo apt update
   sudo apt install -y nvidia-omniverse-launcher
   

   Copy

2. Εγκατάσταση του Isaac Sim μέσω του Launcher

   • Άνοιγμα του Omniverse Launcher
   • Επιλογή Exchange → Αναζήτηση για "Isaac Sim" → Εγκατάσταση της έκδοσης 2023.1.1 (πιο πρόσφατη σταθερή)

3. Επαλήθευση της Εγκατάστασης

   ./isaac-sim.sh
   

   Copy

   Προσδοκώμενο αποτέλεσμα:

   [Isaac Sim] Ενεργοποίηση...
   [Omniverse Kit] Εκκίνηση...
   

   Copy

Κοινά Σφάλματα κατά την Εγκατάσταση

• Σφάλμα: Failed to initialize CUDA Λύση: Βεβαιωθείτε ότι οι οδηγοί της NVIDIA είναι εγκατεστημένοι:

  nvidia-smi
  

  Copy

  Πρέπει να εμφανίζει πληροφορίες για το GPU χωρίς σφάλματα.

• Σφάλμα: Missing ROS 2 Humble dependencies Λύση: Εγκατάσταση του ROS 2 Humble:

  sudo apt install ros-humble-isaac-ros
  source /opt/ros/humble/setup.bash
  

  Copy

2. Εισαγωγή Ρομπότ και Σκηνών USD

Υποστηριζόμενα Μορφή Αρχείων

Εισαγωγή Ρομπότ URDF (Παράδειγμα: Franka Emika Panda)

1. Λήψη URDF του Franka

   mkdir -p ~/isaac_sim_ws/src
   cd ~/isaac_sim_ws/src
   git clone https://github.com/ros-industrial/franka_ros.git
   colcon build --symlink-install
   

   Copy

2. Μετατροπή URDF σε USD

   ros2 run urdf_to_usd urdf_to_usd --input franka_ros/urdf/franka_panda.urdf --output franka_panda.usd
   

   Copy

3. Φόρτωση στον Isaac Sim

   • Εκκίνηση του Isaac Sim:

     ./isaac-sim.sh
     

     Copy
   • Στο περιβάλλον του Isaac Sim:
     • Επιλογή File → Import Scene
     • Επιλογή του αρχείου franka_panda.usd
     • Πατήστε Open

Ρύθμιση Αρθρώσεων και Αισθητήρων του Ρομπότ

Επεξεργαστείτε το αρχείο USD για να προσθέσετε αισθητήρες (π.χ., κάμερες, IMU):

def Camera "right_hand_camera" (
    xformOp:transform = @right_hand_camera_xform
    sensor:camera = {
        focalLength = 24.0
        horizontalAperture = 10.0
        clippingRange = (0.01, 100.0)
    }
)

3. Προσομοίωση PhysX και Μοντέλα Αισθητήρων

Ρύθμιση Ιδιοτήτων Φυσικής

Επεξεργαστείτε το αρχείο USD του ρομπότ για να ρυθμίσετε τη φυσική:

def Xform "panda_link0" (
    xformOp:transform = @panda_link0_xform
    physics:collisionApproxConvexHull = {
        approxConvexHull = true
        collisionEnabled = true
    }
    physics:rigidBody = {
        mass = 0.5
        enableGravity = true
    }
)

Ενεργοποίηση ρεαλιστικών αισθητήρων

1. Προσθήκη αισθητήρα κάμερας

   def Camera "head_camera" (
       xformOp:transform = @head_camera_xform
       sensor:camera = {
           focalLength = 16.0
           horizontalAperture = 8.0
           clippingRange = (0.01, 50.0)
           resolution = (640, 480)
       }
   )
   

   Copy

2. Ενεργοποίηση αισθητήρων βάθους

   # Σε ένα script Python (π.χ., `simulation_app.py`)
   from omni.isaac.sensor import Camera
   camera = Camera(prim_path="/World/head_camera", resolution=(640, 480))
   camera.enable_depth()
   

   Copy

Domain Randomization για Sim-to-Real

Χρησιμοποιήστε το Replicator του Isaac Sim για domain randomization:

from omni.isaac.replicator import ReplicatorClient

# Αρχικοποίηση του Replicator
replicator = ReplicatorClient()

# Ορισμός παραμέτρων randomization
randomization_params = {
    "physics": {
        "friction": {"min": 0.1, "max": 0.9},
        "mass": {"min": 0.5, "max": 2.0}
    },
    "lighting": {
        "intensity": {"min": 0.5, "max": 2.0}
    }
}

# Εφαρμογή σε σκηνή
replicator.randomize_scene(randomization_params)

4. Δημιουργία Συνθετικών Δεδομένων με το Replicator

Δημιουργία Σετ Δεδομένων RGB-D

1. Δημιουργία Pipeline με το Replicator

   from omni.isaac.replicator import ReplicatorClient, Pipeline
   
   # Αρχικοποίηση
   replicator = ReplicatorClient()
   
   # Ορισμός pipeline
   pipeline = Pipeline()
   pipeline.add(Pipeline.create_camera_sensor("rgb_camera", resolution=(1280, 720)))
   pipeline.add(Pipeline.create_camera_sensor("depth_camera", resolution=(1280, 720), depth=True))
   
   # Προσθήκη randomization
   pipeline.add(Pipeline.randomize_physics(friction=(0.1, 0.9)))
   
   # Εξαγωγή δεδομένων
   pipeline.add(Pipeline.write_to_disk("/data/rgb", format="png"))
   pipeline.add(Pipeline.write_to_disk("/data/depth", format="exr"))
   

   Copy

2. Εκτέλεση του Pipeline

   python3 replicator_pipeline.py --headless
   

   Copy

Προσδοκώμενο Αποτέλεσμα

/data/
├── rgb/
│   ├── frame_000001.png
│   ├── frame_000002.png
│   └── ...
└── depth/
    ├── frame_000001.exr
    ├── frame_000002.exr
    └── ...

5. Ολοκλήρωση με ROS 2

Σύνδεση Isaac Sim με ROS 2 Humble

1. Εγκατάσταση Γέφυρας ROS 2 Humble

   sudo apt install ros-humble-isaac-ros-bridge
   

   Copy

2. Εκκίνηση της Γέφυρας

   ros2 launch isaac_ros_bridge isaac_ros_bridge.launch.py
   

   Copy

3. Δημιουργία Topic Αρθρωτικών Καταστάσεων

   # Σε ένα script Python (π.χ., `joint_publisher.py`)
   from isaac_ros_bridge import IsaacRosBridge
   bridge = IsaacRosBridge()
   bridge.publish_joint_states("/franka_panda/joint_states")
   

   Copy

4. Υπογραφή σε Topic του ROS 2

   ros2 topic echo /franka_panda/joint_states
   

   Copy

Κοινά Προβλήματα με ROS 2

• Σφάλμα: TF transform failed Λύση: Βεβαιωθείτε ότι τρέχει το robot_state_publisher:

  ros2 run robot_state_publisher robot_state_publisher --ros-args -p use_sim_time:=true
  

  Copy

• Σφάλμα: No such node /isaac_ros_bridge Λύση: Επαλήθευση ότι η γέφυρα εκτελείται:

  ros2 node list
  

  Copy

6. Εκτέλεση Χωρίς Γραφικό Περιβάλλον και Διανομή στο Cloud

Εκτέλεση Isaac Sim Χωρίς Γραφικό Περιβάλλον

./isaac-sim.sh --headless --no-window --no-gui

Διανομή στο AWS Cloud

1. Εκκίνηση EC2 Instance

   • Χρήση g5.2xlarge (NVIDIA T4 GPU) ή g5.4xlarge (RTX 6000 Ada).
   • AMI: Deep Learning AMI (Ubuntu 22.04).

2. Εγκατάσταση Isaac Sim στο AWS

   # Ακολουθήστε τα ίδια βήματα εγκατάστασης όπως παραπάνω
   wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
   sudo apt install -y nvidia-omniverse-launcher
   

   Copy

3. Εκτέλεση Προσομοίωσης Χωρίς Γραφικό Περιβάλλον

   nohup ./isaac-sim.sh --headless --no-window --no-gui > simulation.log 2>&1 &
   

   Copy

Χρήση Omniverse Nucleus για Συνεργασία Πολλών Χρηστών

1. Εκκίνηση Nucleus Server

   omniverse-nucleus-server --headless --port 3000
   

   Copy

2. Σύνδεση Πελάτων

   ./isaac-sim.sh --nucleus-host <AWS_IP> --nucleus-port 3000
   

   Copy

Τι Επόμενο;

1. Δοκιμάστε την Εγκατάσταση Σας: Εκτελέστε μια απλή εργασία pick-and-place χρησιμοποιώντας την επέκταση Manipulation του Isaac Sim.
2. Δημιουργήστε Συνθετικά Δεδομένα: Χρησιμοποιήστε το Replicator για να δημιουργήσετε 10.000 εικόνες RGB-D για εκπαίδευση.
3. Διανομή στο Cloud: Επέκταση σε 10+ ρομπότ χρησιμοποιώντας instances AWS EC2 G5.

Για προηγμένα workflows Φυσικής Τεχνητής Νοημοσύνης, εξερευνήστε τις υπηρεσίες συμβουλευτικής για τη διάθεση Physical AI της Hyperion για να επιταχύνετε τα προγράμματα σας σε ρομποτική.