Simon Willison氏の「ペリカンSVGベンチマーク」に着想を得て、AIコーディングエージェントの性能を測るためのゲーム制作ベンチマークを試行した記事です。課題として「重力反転を利用したJavaScriptパズルゲーム」を設定し、GPT-5やClaude 4.7などの最新エージェント(執筆時点の想定)を用いて比較を行いました。
検証の結果、ほとんどのエージェントが「重力反転」や「鍵と扉」といった基本ロジックや物理挙動を正確に実装できる一方で、パズルとしての「面白さ」や、プレイヤーに達成感を与える「洗練されたレベルデザイン」の構築には依然として課題があることが浮き彫りになりました。記事では、指示を細かくしすぎず、エージェントの創造性を引き出すための「ゲームドメインにおけるペリカンSVG」に相当する適切なプロンプトの探索が今後の鍵であると述べています。