LeRobot（Hugging Face）のセットアップガイド：実践的な手順

pip install lerobot -U

python -c "import lerobot; print(lerobot.__version__)"

0.5.0

my_dataset/
├── scenes/               # オプション：3Dシーン設定
│   └── table.yaml
├── trajectories/         # 収録されたデモデータ
│   ├── demo_0.h5         # HDF5形式（必須）
│   ├── demo_1.h5
│   └── ...
└── metadata.json         # データセット説明（必須）

{
  "description": "UR5のピックアンドプレイスデータセット",
  "robot": "ur5e",
  "tasks": ["pick", "place"],
  "sensors": ["rgb_camera", "joint_states"],
  "version": "0.1.0"
}

from lerobot import ACTPolicy

# Frankaアーム（テーブル上操作）用の事前学習ACTモデルを読み込み
policy = ACTPolicy.from_pretrained("lerobot/act3d-franka-table")

# シミュレーションステップの実行（入力：観測値の辞書型）
observation = {
    "image": torch.randn(3, 256, 256),  # RGB画像
    "joint_states": torch.randn(7),     # アームの関節角度
    "ee_pose": torch.randn(7)            # エンドエフェクタの姿勢
}
action = policy(observation)
print(action.shape)  # 期待値：torch.Size([7])（関節トルク）

from lerobot import DiffusionPolicy

# グラッピング用Diffusionポリシーを読み込み
policy = DiffusionPolicy.from_pretrained("lerobot/diffusion_policy-grasp")

# アクションのサンプリング（確率的）
action = policy.sample(observation)
print(action)  # 出力：{"action": tensor([...]), "log_probs": tensor([...])}

from lerobot import SmolVLA

# 言語条件付きタスク用VLAモデルを読み込み
vla = SmolVLA.from_pretrained("lerobot/smolvla-aloha")

# テキストと画像によるクエリ
query = {
    "image": torch.randn(3, 224, 224),
    "text": "赤いブロックを拾う",
    "joint_states": torch.randn(7)
}
action = vla(query)
print(action)  # 出力：関節アクションのtensor([...])

lerobot record \
  --robot ur5e \
  --sensors rgb_camera joint_states \
  --output_dir ./ur5_demos \
  --max_episodes 10

UR5e用データセットの収録中...
エピソード 1/10：テレオペレーション入力待機中...
[ROS 2ノード開始: /lerobot_recorder]
[収録先: ./ur5_demos/trajectories/episode_0.h5]
[エピソード終了はCtrl+Cで]

from lerobot import BehaviorCloningTrainer
from lerobot.datasets import load_dataset

# データセットを読み込み
dataset = load_dataset("path/to/ur5_demos")

# トレーナーの初期化
trainer = BehaviorCloningTrainer(
    model="lerobot/act3d-base",  # 事前学習ベースから開始
    dataset=dataset,
    batch_size=32,
    epochs=50,
    lr=1e-4
)

# 学習を実行
trainer.train()
trainer.push_to_hub("my-ur5-policy")  # Hugging Face Hubに保存

from lerobot.sim import IsaacGymEnv
from lerobot import ACTPolicy

# ポリシーと環境を読み込み
policy = ACTPolicy.from_pretrained("my-ur5-policy")
env = IsaacGymEnv(robot="ur5e", task="pick_place")

# 評価を実行
success_rate = env.evaluate(policy, episodes=10)
print(f"成功率: {success_rate * 100:.2f}%")

エピソード 1/10：成功 = True
エピソード 2/10：成功 = False
...

from lerobot.hardware import UR5Controller
from lerobot import ACTPolicy

# ロボットとポリシーを初期化
robot = UR5Controller()
policy = ACTPolicy.from_pretrained("my-ur5-policy")

# クローズドループ制御の実行
while True:
    obs = robot.get_observations()
    action = policy(obs)
    robot.send_action(action)

lerobot push_to_hub \
  --path ./ur5_demos \
  --repo_id my-username/ur5-pick-place-demos \
  --private  # オプション：Falseに設定して公開

from lerobot import ACTPolicy

# 学習済みポリシーを読み込み
policy = ACTPolicy.from_pretrained("lerobot/act3d-base")
policy.train()  # 学習済みと仮定

# Hubへプッシュ
policy.push_to_hub("my-username/ur5-act-policy")

pip install lerobot[so100]

lerobot record \
  --robot so100 \
  --sensors rgb_camera base_pose \
  --output_dir ./so100_navigation

from lerobot.hardware import KochArm

robot = KochArm()
robot.move_to_joint_positions([0.5, -0.3, 0.0,