北京交通大学、Mootion AIなどの研究チームは8月12日、動画やゲームの事前制作を支援する「StateFlow」を公開しました。文章から映像を一度だけ生成するのではなく、位置、姿勢、意味を持つ編集可能な3D世界を保存し、必要な部分だけ直して別のカメラから再利用します。生成映像の一貫性を、プロンプトの工夫ではなく世界の状態管理で保とうとする研究です。
一発生成から持続する世界状態へ
StateFlowは、正面図と俯瞰図から3D世界を作る「構築」、指示された対象だけを更新する「更新」、視覚言語モデルがカメラを提案し、遮蔽や衝突を直しながら映像化する「撮影」の3段階で動きます。同じ世界を使い続けるため、場面を作り直すたびに人物や背景が変わる問題を抑え、映像制作と3Dゲーム試作の両方へ展開できます。
構築・更新・撮影を分離
論文ではVBench平均0.8484と報告し、比較したSeedance 2.0の0.8387などを上回りました。被写体や背景の一貫性、動きの滑らかさでは強かった一方、画質や美的評価ですべて首位だったわけではありません。利用者30人の評価も行われましたが、数値は研究チーム自身の実験で、独立した追試ではありません。
再利用できるが検証はこれから
映像、広告、ゲーム、設計の現場では、同じ場面を別アングルで撮り直す、物体だけを差し替えるといった反復作業をしやすくなる可能性があります。生成AIを完成映像のボタンではなく、編集可能な制作工程として扱う方向を示しています。 現時点ではプレプリントで、コードは公開予定の段階です。複数の外部モデルに依存しており、処理時間、費用、再現性、商用利用条件は公開デモだけでは判断できません。実用性はコード公開後の追試で確認する必要があります。