【Claude Code VS Codex】同じSkillsでオセロ対戦させたら、56-8で○○が完敗した話

概要

共通の戦略指示（Skills）を与えてClaude CodeとCodexをオセロ対戦させた結果、中盤の圧勝からClaudeが逆転負けし、LLM間の思考プロセスや性格の差異が明らかになった。

詳細内容

この記事は、Claude CodeとCodexという2つのLLMに、全く同じ「Skills」（位置評価テーブルやモビリティ評価のヒューリスティックを定義した指示書）を付与し、オセロで対戦させた実験の記録です。対戦はローカルHTTPサーバーを介して行われ、両モデルは共通の評価関数を用いて着手を決定しました。結果は、黒（Codex）56対白（Claude）8でCodexの圧勝。特筆すべきは、中盤までClaudeが29対1と圧倒していたものの、X打ち（X-square）のリスク判断ミスと、長距離の斜めラインによる角への脅威を読み落としたことで一気に崩壊した点です。考察では、同じ指示を受けても「ヒューリスティックの解釈の深さ」「思考プロセスの冗長性（日本語での出力によるトークン消費）」「リスク許容度」といったLLM固有の特性が勝敗を分ける要因となった可能性が指摘されています。AI同士を対戦させることで、単なる正誤判定を超えた「思考の癖」を可視化する興味深い試みとなっています。

元記事を読む他のサマリーを見る