【フィジカルAI x Gemini x MCP】相棒ロボ「ReachyMini」を助手席に：次世代のドライブ体験

概要

Geminiのマルチモーダル知能とReachyMiniの物理的身体をMCPで統合し、感情豊かな対話やVLMによる状況把握を実現した次世代ドライブ相棒ロボット。

詳細内容

ものづくりサークル「Beaver's Hive」による、オープンソースロボット『Reachy Mini』を車の助手席に搭載したプロジェクトの紹介です。Google Gemini (Live API) を脳として採用し、MCP (Model Context Protocol) を介してロボットの各関節を制御。会話内容から感情パラメータを算出してリアルタイムに身体表現（首を傾げる、身振り等）へ変換することで、単なる音声アシスタントを超えた「そこにいる安心感」を創出しています。機能面では、VLMを用いて車外の景色を解説したり、ドライバーの眠気を検知して休憩を促すほか、GoogleマップAPIとの連携や、車内音楽のテンポに合わせたダンス機能も搭載。GCP (CloudRun/GCE) を活用した低レイテンシなシステム構成により、AIが画面から飛び出し物理世界でドライバーに寄り添う『フィジカルAI』の可能性を実証しています。

元記事を読む他のサマリーを見る