トークン空間フォント・コンパイラ

概要

LLMのトークナイザーの境界をフォントのシェイピングルールとして埋め込み、等幅や色分けによってトークン分割を視覚化するTTFフォント生成ツール。

詳細内容

このツールは、DeepSeek、OpenAI、Llama 3、Claude（ctokによる近似）などの主要なLLMトークナイザーを、フォントのOpenTypeシェイピングルールに直接コンパイルします。生成されたTTFフォントを使用すると、特別なスクリプトなしで、テキストのトークン分割を等幅表示やカラー色分けによって視覚的に確認できます。ブラウザ上のPyodideとfontToolsを使用してローカルでコンパイルが完結し、Discord（Vesktop）やSlack用のカスタムテーマも提供されています。BPEの境界や空白の正規化、絵文字の処理、レンダラーによる制約など、フォント技術を用いたトークン可視化における詳細な技術的課題と検証結果が報告されています。

元記事を読む他のサマリーを見る