VOID: 物理的な相互作用を考慮した動画内オブジェクト削除

概要

動画から物体を削除する際、その物体との衝突や影響を受ける周囲の動きまで物理的に整合するように修正・再生成するAIフレームワーク「VOID」。

詳細内容

Netflixなどの研究チームが発表した「VOID (Video Object and Interaction Deletion)」は、従来の動画インペインティングでは困難だった「物理的な相互作用の解消」に特化した新手法です。例えば、ボールがウクレレを倒す動画からボールだけを消すと、従来手法ではウクレレが勝手に倒れる不自然な映像になります。VOIDは、VLM（視覚言語モデル）を用いて削除対象の影響を受ける領域を特定し、ビデオ拡散モデルを通じて「その物体が存在しなかった場合の物理的に妥当なシナリオ」を生成します。学習には、KubricやHUMOTOを用いて構築された、物体削除に伴う下流の物理変化を含む新しい対照データセットを使用。また、物体の形状崩れ（モーフィング）を防ぐために、フロー推定を利用した2パスの推論プロセスを導入し、安定した動画生成を実現しています。

元記事を読む他のサマリーを見る