概要
ClaudeとMCPを活用し、事前のロボット学習なしでSO-101アームをカメラ映像越しに直接操作する「VLAなし」アプローチの実践記録。
詳細内容
汎用LLM（Claude）とModel Context Protocol (MCP) を組み合わせ、ロボット用学習済みモデル（VLA）を一切介さずに低コストなロボットアーム「SO-101」を直接制御する手法を紹介しています。GPT-6 Astraの評価レポートに基づき、LLMが固定ハーネス（MCPサーバー）を通じて動作を出力する「L3」構成を採用。
具体的には、LeRobotのPython APIをラップしたMCPツールをClaude Desktopから呼び出し、カメラ映像を視覚的なフィードバックとして利用します。実験では、自然言語指示によるお菓子のピッキングや色分け、安全性の高い自律判断（作業空間への侵入者を検知して停止するなど）を実現。物理的な微調整や安全策の設定が実機操作の成否を分ける点など、実践的な知見が豊富に含まれています。ロボット学習のデータ収集装置としてのLLMの可能性についても言及されています。