LLMによる超カスタム・ワールド構築の可能性：Andrej Karpathyによる実験と洞察

概要

Andrej Karpathy氏は、LLMに大量のトークン予算を与えて複雑な3Dシーンを構築させる実験を通じ、人間には不可能な「超カスタムな世界の生成」と、動的視覚情報の評価における現状の課題について論じている。

詳細内容

Andrej Karpathy氏は、LLMの評価が「自転車に乗るペリカンのSVGを描かせる」といった単純なテストの段階を離れつつあると指摘し、その一例としてOpus 5に約100万トークン（約10ドル）の予算を与え、『指輪物語』の冒頭をThree.jsでレンダリングさせる実験を行った。Opus 5は約2時間かけて5500行のコードを書き上げ、物語をプロシージャルに再現する3Dシーンを構築したという（粗削りだが動作する）。氏がこの種の例を好むのは、人間なら誰も手間をかけないほどカスタムな作業でも、LLMは尽きないスタミナと忍耐で安価にこなせるためで、「誰もやらない」ことが「ほぼ無料だからやってもいい」ことへと変わる点に注目する。その先に見据えるのは、特定の物語世界にプレイヤーを放り込む「オンデマンドで生成される刹那的なGTA」のような、ハイパーカスタムな世界の可能性だ。一方で氏は現状の弱点も挙げる。LLMはビデオやゲームを自ら効率的に知覚・プレイできないため生成物を監査しづらく、Opus 5もスクリーンショットを地道に撮って確認するしかなく、何度も失敗して粗が生じた。マルチモーダルな知覚とゲームプレイという生の能力はまだ大きく欠けている、というのが締めくくりの洞察である。

元記事を読む他のサマリーを見る