概要
https://blog.burkert.me/posts/llm_evolution_character_manipulation/
詳細内容
## LLMの文字レベルテキスト操作能力が向上
https://blog.burkert.me/posts/llm_evolution_character_manipulation/
**Original Title**: LLMs are getting better at character-level text manipulation
最新のLLMは、文字レベルのテキスト操作、文字数カウント、およびBase64やROT20のようなエンコード/デコードにおいて、旧世代モデルと比較して大幅な改善を見せていることを実験を通じて明らかにしています。
**Content Type**: 🔬 Research & Analysis
**Language**: en
**Scores**: Signal:5/5 | Depth:4/5 | Unique:4/5 | Practical:4/5 | Anti-Hype:5/5
**Main Journal**: 87/100 | **Annex Potential**: 87/100 | **Overall**: 88/100
**Topics**: [[LLM能力, 文字操作, トークン化, エンコード/デコード, モデル性能評価]]
最新のLLMが文字レベルのテキスト操作能力を大幅に向上させているという興味深い調査結果が発表されました。筆者のTom Burkert氏は、GPT-5やClaude 4.5のような最新モデルが、文字カウント、文中の文字置換、Base64やROT20といったエンコード/デコードタスクを、旧世代モデルでは不可能だったレベルで解決できるようになったことを示しています。
これまでのLLMは、テキストをトークンとしてエンコードするため、個々の文字レベルの操作が苦手でした。例えば、「r」を「l」に置換するような簡単なタスクでも、GPT-3.5-turboやGPT-4-turboは誤りが見られましたが、GPT-4.1以降のモデルでは、これらの文字置換タスクを一貫して正確に完了できることが確認されました。
文字数カウントのようなLLMが苦手とされてきたタスクにおいても、GPT-4.1は信頼できる精度を示し、GPT-5シリーズは推論機能を使用することで正確なカウントが可能になりました。これは、モデルの生来の改善によるもので、ウェブアプリケーション開発者がLLMを用いてテキスト処理を行う際の信頼性を高めます。
特に注目すべきは、Base64およびROT20暗号のデコード能力です。旧モデルが失敗したタスクに対し、GPT-5やClaude Sonnet 3.5以降の一部のSOTAモデルは、推論機能の有無にかかわらず、Base64でエンコードされた「意味不明なテキスト」（ROT20で暗号化されたテキスト）を正確にデコードできました。これは、LLMがBase64デコードアルゴリズムを単に一般的な英語パターンとして記憶しているのではなく、そのアルゴリズム自体を「理解」している可能性を示唆しています。この能力は、通常の分布外のテキストを扱う際に非常に重要であり、LLMがより複雑なデータ処理やコード操作に利用できる可能性を広げます。
一方で、Claude Sonnet 4.5やGrok 4のように、Base64や暗号化されたテキストを「安全性の問題」として拒否するモデルも存在することが指摘されています。これは、非標準的なテキスト形式を扱うアプリケーションを開発する際に考慮すべき重要な制限です。
この進歩は、トークンベースのテキスト理解に依存するLLMが、より粒度の高い文字レベルの操作においても着実に能力を高めていることを示しています。これにより、ウェブアプリケーションエンジニアは、LLMをより幅広いテキスト処理、データ変換、さらにはセキュリティ関連のタスクに応用できるようになるでしょう。ただし、モデルごとの特性と制限を理解した上で利用することが引き続き重要です。