Agentic RLにおけるMITOとTITO

概要

AIエージェントの強化学習（Agentic RL）において、トークナイザーの再エンコードによる「トークンドリフト」が学習を不安定化させる問題と、日本語におけるその顕著さを解説した記事。

詳細内容

LLMをエージェントとして学習させる「Agentic RL」では、モデルが生成したトークンと文字列から再エンコードしたトークンが一致しない「トークンドリフト」が学習崩壊の原因となります。メッセージを媒介とするMITO（Message-In Token-Out）手法では、モデルが関与していないトークンに勾配が流れるリスクがあるため、トークン列を直接扱うTITO（Tokens-In Tokens-Out）原則の遵守が重要です。本記事の実験により、日本語は英語に比べてトークン分割の境界が曖昧であるため、このドリフトが発生しやすく、Agentic RLの難易度を高める要因となっていることが示唆されています。

元記事を読む他のサマリーを見る