Reconstruction and Interactive Reformation of the 3D Geometry and Lighting in Single Image

(邦訳:一枚の写真内の三次元構造と照明条件の対話的な変更法)
 
吳 榮軒
(株)ソニー・インタラクティブエンタテインメント ソフトウェアエンジニア

[背景]イメージベースライティング(IBL),イメージベースモデリング(IBM)
[問題]画像内の照明および物体の変更によるリアルな加工画像の生成
[貢献]リアルな編集結果作成向けの画像内シーンの推定


 本博士論文では1枚の写真からシーンの立体構造と反射係数やカメラや光源の情報の推定と復元の研究について述べている.

 リアルな画像およびビデオの作成と修正は映画,写真編集,ビデオゲームなどの分野で活用できる.しかし,高品質な画像やビデオの作成と修正にはシーンの立体構造と反射係数やカメラと光源の位置や向きなどの情報が欠かせない.それらの情報を今は主に人の手で作っているが,手動での作成はコストが高く,専門の3Dアーティストでない人には難しい.

 デジタルカメラで撮った写真には,光源から放ち出し→シーンのどこかに衝突して跳ね返り→たまたまカメラのレンズに入り込む,という経路を通った光線の情報が画面上に記録されているので,そこから光源やシーンの立体構造と反射係数やカメラの情報の推定は不可能ではない.

 しかし,シーンの立体構造と反射係数はピクセルごとに違うので,未知変数の数は数百万以上もある.そのため,1枚の写真からシーンの立体構造と反射係数やカメラや光源の情報の推定はきわめて困難である.

 そこで,多くの研究は,違う角度から撮影した複数の入力写真を用いたり,カメラの焦点距離などの追加の入力を求めたり(既知の情報を増やす),光源が平行光源と仮定したり(未知の変数を減らす)することで,シーンの情報を推定する.しかし,複数の入力写真やカメラの焦点距離を要求すると,ユーザに負荷をかけることとなる.また,そもそも要求が満たされないこともある(たとえば,昔に撮った写真など).光源が平行光線と仮定してしまうと,主に蛍光灯や街灯などの光源に照明される室内や夜のシーンの写真には適用できなくなる.

 一方,本研究の手法では,蛍光灯や街灯などの光源に照明されるシーンの写真を対象とし,1枚の写真とわずかなユーザ入力だけを入力データとして必要とする.それらの入力データからシーンを推定するため,2つの手法を提案した.1つ目では,光源とカメラの14個のパラメータで写真中の拡散反射(diffuse reflection)の照度分布(luminance distribution)を表現する式を考案し,入力写真中の拡散反射の照度分布と最も近い像を再現するパラメータを探すことで,光源とカメラとシーンの地面と壁の立体構造と反射係数の数百万のパラメータを得る.2つ目では,まず,3D物体とその影が2D画像に投影された形状が,写真中の人間や車などの物体とそれらの影の2D形状と,どれほど似ているかを評価する式を考案し,それを用い,2D画像に投影された形状が,写真中の物体とその影の形状と最も似ている3D物体を探し出す.それを用いて写真内の人間や車などの物体とその影を再現できる3D物体を得る.

 上記の2つの手法で得た結果を合わせると,1枚の入力写真からシーンの光源とカメラと立体構造と反射係数を再現し,写真のライティング調整と写真内の車や人間等の物体の移動と変形などの編集が可能となる.再現されたシーンは,リアルな編集結果を生成できるので,映画や建物のライティングの設計に活用できる.また,本研究は,シーンの立体構造を提供することが可能であるため,コンピュータビジョン(compute vision)や画像理解(image content understanding)や映像監視(surveillance)や画像の偽造判定(image forgery detection)などの分野に貢献できる.


 
 (2017年5月31日受付)
取得年月日:2017年3月
学位種別:博士(工学)
大学:東京工業大学



推薦文
:(コンピュータグラフィックスとビジュアル情報学研究会)


本博士論文では,照明の物理モデルを定義し,その照度分布と画像内の照度分布の一致度を評価することで,1枚の画像内の照明,幾何構造,反射特性等の情報を推定し,それを用いた画像内の照明を編集した加工画像を生成する手法を提案している.本画像内情報の推定法は画像理解,偽造画像判別にも有用な基礎技術となる.


著者からの一言


博士号の取得は大変でした.特に最後の1年間,昼に仕事,夜に研究と論文の執筆をしていたとき,指導教員の齋藤豪先生と亀井宏行先生をはじめ,審査員の先生方や,両親,研究室の仲間たちと友人にいただいたアドバイスとサポートのおかげで,無事に学位を取得することができました.心より感謝を申し上げます.今後もコンピュータグラフィクス分野の最先端の研究を行い続けるように頑張ります.