Hoe U NVIDIA Isaac Sim Installeert: Een Praktische Gids

Samenvatting

• Installeer Isaac Sim via de Omniverse Launcher op Ubuntu 22.04 met een RTX-grafische kaart
• Importeer robots met behulp van USD/URDF-bestanden en configureer PhysX voor realistische fysica
• Gebruik Replicator voor het genereren van synthetische gegevens met domeinrandomisatie
• Verbind met ROS 2 Humble via de isaac_ros-pakketten
• Voer headless uitvoering uit op cloudinstanties met Omniverse Nucleus

1. Installatie en Systeemvereisten

Hardwarevereisten

Isaac Sim vereist:

• GPU: NVIDIA RTX 30/40-serie of A100/H100 (minimum RTX 2080 Ti)
• CPU: 8+ kernen (Intel Xeon/AMD Ryzen aanbevolen)
• RAM: 32GB+ (64GB voor grote scènes)
• Opslag: 20GB+ SSD (NVMe aanbevolen)

Softwarevereisten

# Ubuntu 22.04 (getest)
sudo apt update
sudo apt install -y nvidia-driver-535 nvidia-cuda-toolkit
sudo apt install -y ros-humble-desktop ros-humble-isaac-ros

Installatiestappen

1. Download Omniverse Launcher

   wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
   sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
   sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
   sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
   sudo apt update
   sudo apt install -y nvidia-omniverse-launcher
   

   Copy

2. Installeer Isaac Sim via de Launcher

   • Open de Omniverse Launcher
   • Ga naar Exchange → Zoek op "Isaac Sim" → Installeer 2023.1.1 (laatste stabiele versie)

3. Controleer de installatie

   ./isaac-sim.sh
   

   Copy

   Verwachte uitvoer:

   [Isaac Sim] Start...
   [Omniverse Kit] Start...
   

   Copy

Veelvoorkomende installatiefouten

• Fout: Failed to initialize CUDA Oplossing: Zorg ervoor dat de NVIDIA-drivers zijn geïnstalleerd:

  nvidia-smi
  

  Copy

  Moet GPU-informatie tonen zonder fouten.

• Fout: Missing ROS 2 Humble dependencies Oplossing: Installeer ROS 2 Humble:

  sudo apt install ros-humble-isaac-ros
  source /opt/ros/humble/setup.bash
  

  Copy

2. Importeren van Robots en USD-scènes

Ondersteunde bestandsformaten

Importeren van een URDF-robot (Voorbeeld: Franka Emika Panda)

1. Download Franka URDF

   mkdir -p ~/isaac_sim_ws/src
   cd ~/isaac_sim_ws/src
   git clone https://github.com/ros-industrial/franka_ros.git
   colcon build --symlink-install
   

   Copy

2. Converteer URDF naar USD

   ros2 run urdf_to_usd urdf_to_usd --input franka_ros/urdf/franka_panda.urdf --output franka_panda.usd
   

   Copy

3. Laad in Isaac Sim

   • Start Isaac Sim:

     ./isaac-sim.sh
     

     Copy
   • In de Isaac Sim-interface:
     • Ga naar Bestand → Scene importeren
     • Selecteer franka_panda.usd
     • Klik op Openen

Configureren van Robotgewrichten en Sensoren

Pas het USD-bestand aan om sensoren (bijv. camera’s, IMU’s) toe te voegen:

def Camera "right_hand_camera" (
    xformOp:transform = @right_hand_camera_xform
    sensor:camera = {
        focalLength = 24.0
        horizontalAperture = 10.0
        clippingRange = (0.01, 100.0)
    }
)

3. PhysX-simulatie en sensorenmodellen

Configureren van fysieke eigenschappen

Pas het USD-bestand van de robot aan om de fysica te wijzigen:

def Xform "panda_link0" (
    xformOp:transform = @panda_link0_xform
    physics:collisionApproxConvexHull = {
        approxConvexHull = true
        collisionEnabled = true
    }
    physics:rigidBody = {
        mass = 0.5
        enableGravity = true
    }
)

Realistische sensoren inschakelen

1. Voeg een camera-sensor toe

   def Camera "head_camera" (
       xformOp:transform = @head_camera_xform
       sensor:camera = {
           focalLength = 16.0
           horizontalAperture = 8.0
           clippingRange = (0.01, 50.0)
           resolution = (640, 480)
       }
   )
   

   Copy

2. Schakel dieptesensoren in

   # In een Python-script (bijv., `simulation_app.py`)
   from omni.isaac.sensor import Camera
   camera = Camera(prim_path="/World/head_camera", resolution=(640, 480))
   camera.enable_depth()
   

   Copy

Domeinrandomisatie voor Sim-to-Real

Gebruik Replicator van Isaac Sim voor domeinrandomisatie:

from omni.isaac.replicator import ReplicatorClient

# Initialiseer Replicator
replicator = ReplicatorClient()

# Definieer randomisatieparameters
randomization_params = {
    "physics": {
        "friction": {"min": 0.1, "max": 0.9},
        "mass": {"min": 0.5, "max": 2.0}
    },
    "lighting": {
        "intensity": {"min": 0.5, "max": 2.0}
    }
}

# Pas toe op een scène
replicator.randomize_scene(randomization_params)

4. Genereren van Synthetische Gegevens met Replicator

Genereren van RGB-D-datasets

1. Maak een Replicator-pijplijn aan

   from omni.isaac.replicator import ReplicatorClient, Pipeline
   
   # Initialiseer
   replicator = ReplicatorClient()
   
   # Definieer pijplijn
   pipeline = Pipeline()
   pipeline.add(Pipeline.create_camera_sensor("rgb_camera", resolution=(1280, 720)))
   pipeline.add(Pipeline.create_camera_sensor("depth_camera", resolution=(1280, 720), depth=True))
   
   # Voeg randomisatie toe
   pipeline.add(Pipeline.randomize_physics(friction=(0.1, 0.9)))
   
   # Exporteer gegevens
   pipeline.add(Pipeline.write_to_disk("/data/rgb", format="png"))
   pipeline.add(Pipeline.write_to_disk("/data/depth", format="exr"))
   

   Copy

2. Voer de pijplijn uit

   python3 replicator_pipeline.py --headless
   

   Copy

Verwachte uitvoer

/data/
├── rgb/
│   ├── frame_000001.png
│   ├── frame_000002.png
│   └── ...
└── depth/
    ├── frame_000001.exr
    ├── frame_000002.exr
    └── ...

5. Integratie met ROS 2 Bridge

Verbinding tussen Isaac Sim en ROS 2 Humble

1. Installeer de ROS 2 Humble Bridge

   sudo apt install ros-humble-isaac-ros-bridge
   

   Copy

2. Start de Bridge

   ros2 launch isaac_ros_bridge isaac_ros_bridge.launch.py
   

   Copy

3. Publiceer een Joint State-topic

   # In een Python-script (bijv., `joint_publisher.py`)
   from isaac_ros_bridge import IsaacRosBridge
   bridge = IsaacRosBridge()
   bridge.publish_joint_states("/franka_panda/joint_states")
   

   Copy

4. Abonneer op een ROS 2-topic

   ros2 topic echo /franka_panda/joint_states
   

   Copy

Veelvoorkomende ROS 2-problemen

• Fout: TF transform failed Oplossing: Zorg ervoor dat robot_state_publisher draait:

  ros2 run robot_state_publisher robot_state_publisher --ros-args -p use_sim_time:=true
  

  Copy

• Fout: No such node /isaac_ros_bridge Oplossing: Controleer of de bridge is gestart:

  ros2 node list
  

  Copy

6. Headless Uitvoering en Clouddeployments

Isaac Sim headless uitvoeren

./isaac-sim.sh --headless --no-window --no-gui

Deployen naar AWS Cloud

1. Start een EC2-instance

   • Gebruik g5.2xlarge (NVIDIA T4-grafische kaart) of g5.4xlarge (RTX 6000 Ada).
   • AMI: Deep Learning AMI (Ubuntu 22.04).

2. Installeer Isaac Sim op AWS

   # Volg dezelfde installatiestappen als hierboven
   wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
   sudo apt install -y nvidia-omniverse-launcher
   

   Copy

3. Voer headless-simulatie uit

   nohup ./isaac-sim.sh --headless --no-window --no-gui > simulation.log 2>&1 &
   

   Copy

Gebruik van Omniverse Nucleus voor Multigebruikerssamenwerking

1. Start Nucleus-server

   omniverse-nucleus-server --headless --port 3000
   

   Copy

2. Verbinden van clients

   ./isaac-sim.sh --nucleus-host <AWS_IP> --nucleus-port 3000
   

   Copy

Wat nu verder?

1. Test uw configuratie: Voer een eenvoudige pick-and-place-taak uit met de Manipulation-extensie van Isaac Sim.
2. Genereer synthetische gegevens: Gebruik Replicator om 10.000 RGB-D-afbeeldingen te creëren voor training.
3. Deploy naar de cloud: Schaal op naar 10+ robots met behulp van AWS EC2 G5-instanties.

Voor geavanceerde Physical AI-workflows, ontdek de AI-tools consultancy van Hyperion om uw robotica-projecten te versnellen.