単視点画像からの対話的な3次元シーンモデル生成に関する研究

 
飯塚 里志
早稲田大学大学院基幹理工学研究科 研究院助教

［背景］3次元映像コンテンツの需要の増加
［問題］1枚の画像からの効率的な3次元シーンモデルの生成
［貢献］多様な画像の3次元コンテンツを簡単なユーザ入力のみで生成

 今日，ディジタルカメラやカメラ付き携帯電話の普及によって，ディジタル画像は我々の世界を記録し表現する媒体として，非常に身近なものになっている．このような画像は立体構造をもつ現実世界を2次元に投影したものであるため，我々はこれを一視点から平面的にしか見ることができない．しかし，近年の3D映画や3次元CGなどの普及からもわかるように，我々は映像を現実世界のように立体的に見たいという心理的欲求がある．このため，画像の3次元シーンモデルの作成は，コンピュータグラフィクスやコンピュータビジョンの分野で盛んに研究されてきた．3次元シーンモデルを作成することで，ユーザはそのシーンを立体的に見ることができ，より直感的かつ印象的な映像効果を得ることができる．しかしそのような3次元シーンを作成するには，視点をずらしながら対象物を撮影した多くの写真が必要となる．また，モデリング関連の専門的な知識や多くの編集作業が必要となる場合もある．

 そこで，1枚の画像を入力とし，簡単なユーザ入力のみで3次元シーンモデルを生成するための研究を行った．画像には，広い屋外を撮影した風景写真や物体を近くから撮影した写真など，さまざまなシーンが記憶されている．このような幅広いシーンの画像に対応するため，本研究では対象とする画像を限定した2通りの3次元シーンモデル生成手法を提案した．
  • 地面の境界線にもとづく，少数のポリゴンから構成される3次元シーンの構築
  • 少数のデプス入力による，滑らかな表面形状をもつ3次元モデルの生成
 1つ目の手法では，入力画像を平坦な地面をもつ景観画像に限定し，地面領域と残りの領域の境界線を利用して簡易な3次元シーンモデルを構築する手法を提案した．この手法では，シーンの3次元座標の計算や地面に置かれた物体の対話的な抽出とモデリング，背後領域のテクスチャの生成を効率よく行えるようにしている．生成される3 次元シーンモデルは簡易な構造しか持たないが，十分に立体感のある3次元ウォークスルーが可能になる．

 2つ目の手法では，上記の手法で対象外となるシーンに対応できるように，ユーザが画像上でスパースに指定したデプスから3次元モデルを生成する手法を提案した．この手法は前述の手法に比べユーザ入力が増えるが，地面が写っていない写真や物体を近くから撮影した写真など幅広いシーンに適用できる．この手法では，少数のデプス入力を画像全体に伝播させることで，デプスマップの生成，デプスの不連続個所の抽出，遮蔽領域のデプスとテクスチャの生成を自動で行い，高品質の3次元モデルの生成を実現している．

 さらに，これらの手法によって算出したシーンの奥行きや物体領域の情報を利用することで，遠近を考慮した画像の構図編集や3次元映像の生成など，さまざまな画像コンテンツ制作を行えることを確認した．
 

 （2015年5月26日受付）
取得年月日：2015年3月
学位種別：博士（工学）
大学：筑波大学



推薦文：（グラフィクスとCAD研究会）

飯塚里志君の研究は，単視点で撮影された画像を入力とし，立体視映像に必要な奥行き情報をユーザが簡単な操作で生成できる，というものである．その成果はCG分野における著名な論文誌Computer Graphics Forum などに採択され，著名な会議Pacific Graphicsおよび Eurographicsでも口頭発表するなど，国際的に高く評価されている．よって彼の博士論文を推薦する．


著者からの一言：

本研究を進めるにあたり，指導教員の先生方をはじめ，研究室の皆様，そして両親には大変お世話になりました．自由で刺激的な環境で研究活動に従事でき，大変価値のある時間を過ごせたと思います．今後も，印象的な映像コンテンツを効率よく生成するための手法について研究していきます．

All Rights Reserved, Copyright (C) Information Processing Society of Japan