Kling AIの研究チームは、人と物の相互作用を保ちながら長時間の動画をストリーミング生成するStreamHOIを発表しました。過去映像をすべて抱えず、必要な履歴だけをブロックごとに保持します。ライブ操作に追従する動画生成では、画質だけでなく最初の表示までの時間と継続速度が重要になります。
長時間生成で解いた課題
7月22日投稿の論文は、過去の動きを圧縮して保持する履歴メモリと、人・物の関係を維持する学習を組み合わせました。研究チームは17.6fps、最初の動画チャンクまで0.75秒と報告し、長時間生成での遅延蓄積を抑えています。
17.6fpsと0.75秒の意味
従来は生成時間が長くなるほど履歴参照が重くなり、人の手と物の位置関係も崩れやすい課題がありました。StreamHOIは、現在の生成に必要な履歴へ絞り、操作入力へ継続的に反応する設計です。
リアルタイム用途への距離
ゲーム、遠隔操作、仮想接客、映像制作では、入力後に待って完成動画を見る方式から、操作しながら結果が続く体験へ近づきます。 査読前プレプリントの報告値で、解像度、使用GPU、対象動作によって速度と品質は変わります。誤った身体表現や危険操作への対策も必要です。