立体映像における奥行感を保持・誇張する非線形変換処理の研究

 
宇都木 契

日立製作所横浜研究所 研究員


[背景]主観的な誇張表現と超越臨場感
[問題]3DCGにおける奥行感の誇張表現
[貢献]E-IMPACT: 奥行き誇張表現のシミュレーション

古来,日本のアニメーションなどでは,画像内の奥行きの情報に関する厳密さは必要とされなかった.このため,絵画内の注目箇所の立体感のみを誇張したり,平面構図を考慮して画像の2次元配置を調整するなど,自由な演出が行われ,芸術性の高い映像文化を生み出してきた.このような演出と加工によって生み出されたコンテンツが,その場で実物を鑑賞する臨場感を超える主観的な感動を与える現象は超越臨場感(メタリアリティ)と呼ばれている.
しかし,これらの自由な演出を,3次元コンピュータグラフィックス(3DCG)やステレオ立体視などの3次元的な制約が強い環境で実現しようとすると,表現のために改変された奥行き手がかりが,3DCGの厳密な奥行き情報との間に齟齬を生んでしまうことがある.本論文では,立体映像や3DCGなどの環境下においても,奥行感の主観的な強調や構図の調整を実現するためのコンテンツ加工技法を,二つのアプローチから検討した.
  • 提案手法1(イメージベース画像処理での奥行き感の保持):Seam Carving技術にステレオ視差制約を与えることで,ステレオ画像ペアの視差情報を保持したまま,画像の加工を行うアプローチ.
  • 提案手法2(3Dモデル映像での奥行き感の誇張):3Dモデルを使った映像表現において,奥行きの誇張を行って手書き絵画のような誇張表現を生み出すアプローチ.
このうち,以下では提案手法2についての実例と詳細を紹介する.
 
図(B)は,提案手法2によって作成された3DCG映像の比較例である.正確な透視投影でレンダリングした(A)の画像に対し,前に突き出した四肢の見た目の大きさを拡大することで,奥行感が誇張された画像になっている.このような奥行感を誇張した描画テクニックは,特に手書きによるイラストやマンガなどで広く用いられてきた.だが,正確な3DCGと誇張された手書きの画像がひとつの画面内に合成されると,互いの間の矛盾が目立ってしまい,違和感のある映像になることも多い.この問題に対し,手書きの誇張表現を廃して3DCGの正確さにあわせるのではなく,3DCGに奥行感の誇張を導入する手法を検討したのが本研究である.
 
奥行感の誇張表現を,一枚の絵に異なる透視投影が合成されたMulti-perspective画像とみなしてモデル化する.複数のカメラをキャラクタの四肢の各部位に対応付け,カメラパラメータを調整する問題として定式化した.まず,各部位の中心軸(ボーン)を考え,その両端に特徴点を配置する.次に,連結した部位に対応付けられたカメラの間に親子関係を設定し,全カメラを階層的に管理する.映像の作成時には,特徴点が親カメラで写しだされる像と,子カメラで写しだされる像が,2次元画像上で同一の位置になるように,子カメラの配置位置と画角のパラメータを設定していく.これにより,ポーズの印象を変えずに奥行感のみを自由に誇張できる.この技法をE-IMPACT (Exaggerated Illustration using Multi-perspective Animation Control Tree)と命名した.


 
 (2012年9月1日受付)
 
取得年月日:2012年3月
学位種別 :博士(学際情報学)
大  学 :東京大学

推薦文:(エンタテインメントコンピューティング研究会)


3DCGモデルによる映像表現において重要である奥行表現について,手がかりの保持と誇張の2つの観点における画像処理手法を提案している.特に後者は漫画やアニメで経験的に利用されている奥行の誇張を非線形変換により理論的に実現している.これらのことから本論文は本研究会から推薦するにふさわしい博士学位論文であるといえる.

著者からの一言


本研究は,独立行政法人情報通信研究機構(NICT) からの委託研究「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」に基づいて行われたもので,現在,株式会社セルシスと協力し,この手法を用いた製品の実用化に向けて研究を進めています.このような自由な研究の場を与え,応援していただけた会社と大学の皆様に,感謝するばかりです.