入出力フォーマットで LLM トークンはどれだけ変わるのか

概要

Claude Haiku 4.5を用い、テキストとJSON形式（Structured Output）の組み合わせがトークン消費量に与える影響を実測値で検証した記事。

詳細内容

LLMの入出力をテキストとJSONで組み合わせた4パターン（text2text, text2json, json2text, json2json）でのトークン消費量をBedrock Converse APIを用いて検証しています。主な知見として、Structured Output（JSON出力）を使用すると、内部的に送信されるスキーマ定義によって入力トークンが基準の約3倍（+1,000トークン以上）に膨れ上がることが判明。一方で、入力形式（テキスト対JSON）自体のトークン数への影響は軽微ですが、JSON入力はモデルがより詳細な情報を保持しようとする傾向があることが示されました。開発者がコストと精度のバランスを考慮してフォーマットを選択するための実用的な指標を提供しています。

元記事を読む他のサマリーを見る