情報処理学会 第87回全国大会

6X-03
事前学習済みの拡散モデルを使用したフレーム補間
○渡部泰樹,進藤嵩紘,巽 優衣,渡辺 裕(早大)
フレーム補間とは,時系列で異なる2つのフレームから,その間のフレームを補間するタスクである.従来の手法では,CNNを用いてオプティカルフローを予測し,その情報を使用して中間のフレームを生成したりしている.しかしながらそのような手法は,時系列情報をうまく捉えられず,複数フレームの生成に向いていない.最近では事前学習済みの拡散モデルであるStable Video Diffusionを使用したフレーム補間も提案されている.先行研究では2つのSVDを使用しており,モデルの容量が大きい.そこで本研究では1つのSVDに制限し,モデルの軽量化を行い,かつフレーム補間精度の向上を可能にした.