情報処理学会 第88回全国大会

6Y-09
単眼動画からの空間動画生成と3Dアニメーションを連携させるインタラクティブ空間動画視聴システム
○川西 樹,長尾 確(名大)
本研究は単眼動画からユーザが選択した物体を除去し,その軌道に沿って3Dモデルを配置・再生できる空間(ステレオ)動画視聴システムを提案する。まず,対象物体について時系列一貫なマスクと2D軌跡を推定し,動画から当該物体を消去する。次に,単眼深度推定モデル(DepthCrafter)により深度を推定し,splattingで右眼画像を粗生成する。このとき生じるオクルージョンマスクと物体マスクを統合して欠損領域を定義し,粗い右眼画像と欠損マスクを条件に拡散モデルで右目動画を再構成する。最後に,推定軌跡と深度に基づき3Dモデルを元物体の運動軌道でレンダリングし,手持ち動画から空間動画コンテンツを生成する。