PhAIL: リアルなロボット実機によるAIモデル性能の評価ベンチマーク

概要

VLAモデルの実機性能を計測するため、Franka FR3を用いた倉庫ピッキング作業のオープンなベンチマーク「PhAIL」が公開されました。

詳細内容

PhAILは、VLA（Vision-Language-Action）モデルが商業的なタスクで実際にどの程度機能するかを測定するためのオープンなベンチマークプロジェクトです。Googleの検索ランキングエンジニア出身の作成者が、ロボティクス業界における客観的な評価指標の欠如を解消するために立ち上げました。Franka FR3アームとRobotiqグリッパーを使用し、倉庫での一般的な「ビンからビンへのピッキング」を対象に、OpenPI/pi0.5、GR00T、ACT、SmolVLAなどのモデルを評価しています。現時点での最高性能は64 UPH（時間あたり処理数）であり、人間の遠隔操作（330 UPH）や手作業（1,300+ UPH）との間には依然として大きな隔たりがあることが示されました。全実行結果の動画、テレメトリ、データセット、トレーニングスクリプトが公開されており、新たなモデルの持ち込みも受け付けています。

元記事を読む他のサマリーを見る