Πώς να Εγκαταστήσετε τον OpenVLA: Ένας Πρακτικός Οδηγός

# Εγκατάσταση OpenVLA και εξαρτήσεων
pip install openvla torch==2.2.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers==4.40.0 datasets==2.18.0 ros2cli  # Απαιτείται ROS 2 Humble για ρομποτική

from huggingface_hub import snapshot_download

# Κατεβάστε στο ~/.cache/huggingface/hub/openvla/openvla-7b
snapshot_download(
    repo_id="openvla/openvla-7b",
    local_dir="openvla-7b",
    local_dir_use_symlinks=False  # Εξαλείφει προβλήματα με συνδέσμους σε ορισμένα συστήματα αρχείων
)

git clone https://github.com/openvla/openvla-demos.git
cd openvla-demos/isaac_sim

# Εκκίνηση του Isaac Sim με το demo του OpenVLA
./launch_isaac_sim.sh

from openvla import OpenVLA
from openvla_demos.utils import capture_frame

# Αρχικοποίηση μοντέλου (φορτώνει από κατεβασμένο φάκελο)
model = OpenVLA.from_pretrained("openvla-7b")

# Αποθήκευση εικόνας από το Isaac Sim
image = capture_frame("isaac_sim_camera")  # Υποθέτει θέμα ROS 2 /isaac_sim_camera/image_raw

# Γεννήστε ενέργεια
prompt = "Συλλέξτε τον κόκκινο κύλινδρο και τοποθετήστε τον στον γκρι τραπέζι."
actions = model.generate(
    image=image,
    prompt=prompt,
    num_actions=20,  # Προβλέψτε 20 βήματα μπροστά
    temperature=0.3  # Χαμηλότερο = πιο οριστικό
)

print(f"Προβλεπόμενες ενέργειες: {actions.shape}")  # Πρέπει να εμφανίσει (20, 7)

Predicted actions: torch.Size([20, 7])

model = OpenVLA.from_pretrained("openvla-7b", torch_dtype=torch.float16)

# Μορφή ενέργειας: (T, 7) όπου T = ορίζοντας (π.χ., 20)
actions = torch.tensor([
    [0.1, -0.2, 0.0, 0.3, -0.1, 0.0, 0.0],  # Χρονική στιγμή 0
    [0.05, -0.1, 0.0, 0.2, -0.05, 0.0, 0.0]  # Χρονική στιγμή 1
])

from openvla_ros import OpenVLAROSNode

node = OpenVLAROSNode(
    robot_name="franka_panda",
    action_topic="/franka_panda/joint_actions"
)
node.publish_actions(actions)  # Στέλνει στο ROS 2

actions = actions * 0.5  # Το UR5 έχει πιο αυστηρά όρια από το Franka

{
    "images": [np.array],  # (T, H, W, 3)
    "prompts": ["str"],    # Λίστα εντολών γλώσσας
    "actions": [np.array], # (T, 7) διαφορές γωνιών αρθρώσεων
    "success": [bool]      # Δυαδικό ετικέτα επιτυχίας εργασίας
}

your_data/
├── images/
│   ├── task1/
│   │   ├── frame_001.png
│   │   └── ...
│   └── task2/
├── metadata.json  # JSON με εντολές, ενέργειες, ετικέτες επιτυχίας

from openvla import OpenVLA
from openvla.finetune import LoRATrainer

# Φόρτωση βασικού μοντέλου
model = OpenVLA.from_pretrained("openvla-7b")

# Αρχικοποίηση εκπαιδευτή LoRA
trainer = LoRATrainer(
    model=model,
    dataset_path="your_data/metadata.json",
    output_dir="openvla-finetuned",
    per_device_train_batch_size=4,  # Μειώστε σε περίπτωση OOM
    num_train_epochs=5,
    lr=1e-4,
    lora_r=8,  # Βαθμός για LoRA
    lora_alpha=32
)

# Εκπαίδευση
trainer.train()

from openvla import OpenVLA
import time

model = OpenVLA.from_pretrained(
    "openvla/openvla-7b",
    torch_dtype=torch.float8_e4m3fn  # INT4
)

start = time.time()
for _ in range(10):
    _ = model.generate(image=test_image, prompt="Συλλέξτε το τετράγωνο.")
latency = (time.time() - start) / 10  # Μέση τιμή ανά inference
print(f"Καθυστέρηση: {latency:.3f}s")  # Στόχος: <20ms

Latency: 0.018s  # 18ms ανά inference

# Εγκατάσταση TensorRT
pip install nvidia-pyindex nvidia-tensorrt

# Ποσοτικοποίηση και μεταγλωττίση
from openvla.tensorrt import compile_model

compiled_model = compile_model(
    model=model,
    max_batch_size=1,
    workspace_size=1 << 25  # 32MB
)

sudo apt update && sudo apt install -y cuda-toolkit-12-1

from openvla_safety import SafetyWrapper

# Ορισμός περιορισμών ασφάλειας
constraints = {
    "joint_limits": {
        "min": [-2.897, -1.767, -2.897, -3.054, -2.897, -0.017, -2.897],  # Franka Panda
        "max": [2.897, 1.767, 2.897, -0.069, 2.897, 3.740, 2.897]
    },
    "velocity_limit": 0.5,  # rad/s
    "collision_margin": 0.05  # m
}

# Περιβάλλετε το μοντέλο
safe_model = SafetyWrapper(
    model=model,
    constraints=constraints,
    fallback_action="stop"  # Ενέργεια αν παραβιαστούν οι περιορισμοί
)

# Δοκιμή
actions = safe_model.generate(image, prompt)
print(f"Ασφαλείς ενέργειες: {actions}")

Safe actions: torch.Size([20, 7])