掲載済み (2026-06-13号)
251 164文字 • 1分

MTG Bench: LLMがマジック:ザ・ギャザリングをどの程度プレイできるかのベンチマーク測定

原題: MTG Bench: Testing how well LLMs can play magic

英語

掲載情報

概要

最新のLLM(GPT-5.5やClaude Fable 5等)を用い、複雑なルールを持つMTGをルールエンジンなしでどこまで正確にプレイできるかを検証したベンチマーク結果の報告。

詳細内容

この記事では、LLMの推論能力を測定するためにカードゲーム『マジック:ザ・ギャザリング(MTG)』を利用したベンチマーク「MTG Bench」の結果を公開しています。2026年6月時点のデータとして、GPT-5.5 (medium) が95.4点で最高スコアを記録し、Claude Fable 5やGemini 3.5 Flashがそれに続きます。技術的な特徴として、外部のルールエンジンを使用せず、LLM自身の判断とMCP(Model Context Protocol)サーバーを介したライブラリ操作ツールのみでシミュレーションを行っている点が挙げられます。また、OpenAIとAnthropicにおけるMCP経由のツール呼び出し時のトークン課金構造の違いについても言及されており、エージェントループにおけるキャッシュの重要性が強調されています。現時点ではコストと速度の面で実用性は低いものの、将来的なデッキ最適化や統計分析への応用の可能性が示唆されています。