概要
Claude 4.7の新しいトークナイザーは、技術文書においてトークン数を最大1.47倍増加させ、実行コストを実質20〜30%押し上げる一方で、指示遵守能力をわずかに向上させている。
詳細内容
Anthropicが公開したClaude 4.7の移行ガイドでは、新トークナイザーによるトークン増を1.0〜1.35倍としていますが、実際の技術文書やコードベースでの計測では最大1.47倍（CLAUDE.mdで1.45倍）に達することが判明しました。特に英語やプログラミングコードにおいてこの傾向が顕著であり、キャッシュ利用時でもセッション全体のコストが約20〜30%増加します。
著者は、この変更の代償としてAnthropicが主張する「指示遵守能力の向上」をIFEvalを用いて検証しました。結果、厳密な指示遵守において+5ポイントの改善が確認されました。トークンが細分化されることでモデルの注意力が向上した可能性がありますが、ユーザーは同じ予算やレートリミット内で処理できる情報量が実質的に減少することに注意が必要です。特にClaude Codeのような長大なコンテキストを扱うツールでは、キャッシュの効率や料金に直接的な影響を及ぼします。