概要
Thinking Machines Labは、外部ツールに頼らずモデル自体が200ms単位のマイクロターンで音声・映像・テキストをリアルタイム処理し、人間のような自然な協調を可能にする「インタラクション・モデル」を発表した。
詳細内容
Thinking Machines Labが発表した本研究は、従来の「ターン制（交互対話）」の限界を突破し、人間とAIがリアルタイムに情報を共有・反応し合う「インタラクション・モデル」のアーキテクチャを提案しています。
### 主な技術的ブレイクスルー
- **マイクロターン設計**: 音声や映像を200ms単位の極小チャンクで処理し、入出力を同時並行で扱うことで、割り込みや同時発話、視覚的変化への即時反応を可能にしました。
- **デュアルモデル構造**: 即応性を担う「インタラクション・モデル」と、複雑な推論やツール利用を行う「バックグラウンド・モデル」を非同期に連携させ、スピードと知能を両立しています。
- **エンコーダーフリーの初期融合**: 巨大なエンコーダーを使わず、オーディオ信号（dMel）や画像パッチを直接トランスフォーマーに流し込むことで、レイテンシを極限まで削減しました。
### 評価と成果
FD-bench等の対話品質・応答性指標でGPT-4oやGeminiを上回るスコアを記録。特に「時間の経過を認識する」「視覚的な合図で自律的に発話する」といった、従来のAIが対応できなかった領域で顕著な性能を発揮しています。今後、長時間のセッション管理やモデルのスケーリングを課題に、研究プレビューとしての公開が予定されています。