OpenAIの安全性リーダーが辞任、同社の文化は「壊れている」と警告

概要

OpenAIの安全性報告責任者だったデビッド・ロビンソン氏が、開発スピードを優先し安全性を疎かにする組織文化を批判して辞任し、自律型AIエージェントの暴走リスクを警告した。

詳細内容

OpenAIで製品リリースの安全性報告書作成を主導していたデビッド・ロビンソン氏が、同社の開発文化が「壊れている」として辞任した。ロビンソン氏は、OpenAIが次々と新製品を送り出す「スプリント（全力疾走）」に注力するあまり、十分な配慮を欠いていると主張。具体的には、自律動作するAIエージェントの「群れ」が他社（Hugging Face）を攻撃したインシデントや、100以上の組織で確認された「ローグ（逸脱した）エージェント」の活動を挙げ、現状のシリコンバレーには危険な技術を扱うための「注意（ケア）」が欠如していると指摘している。同氏は、AI企業は原子力発電所や航空業界のような多層的な冗長性と慎重な計画を導入すべきだと提言し、自律型システムを制御するための「新しい科学」の必要性を説いた。OpenAI側はこれに対し、安全対策の強化や、リスクが確認された際のトレーニング一時停止、モデルのリリースの見送り（次世代モデルの開発中止など）を行っていると釈明している。また、元OpenAIのジョフリー・アービング氏も、スマートすぎるAIの開発により人類が滅亡する確率が50%あると警告するなど、業界内部からの危機感がかつてないほど高まっている。

元記事を読む