Four-dimensional City Modeling using Vehicular Imagery

(邦訳:車載画像を用いた都市の4次元モデリング)
 
櫻田 健
東京工業大学大学院理工学研究科 科学研究費研究員

[背景]街並みの変化の可視化
[問題]車載画像を用いて津波被災地の復旧・復興の様子を可視化
[貢献]2次元,3次元,物体認識それぞれをベースとした街並みの変化の可視化方法を提案
 
 コンピュータビジョンの分野において,シーンや対象物の多視点画像からそれらの3次元形状を復元する研究が長年行われている.近年では,ドローンなどの計測車両や3Dプリンターの発展により,測量や医療を始め多くの応用が実現されている.

 多視点画像を用いた3次元復元に関連し,異なる時刻に撮影された多視点画像から被撮影物の変化を推定する4次元モデリング(3次元空間+時間軸)の問題がある.本研究では,東日本大震災で被災した東北沿岸部を具体的な対象とし,車載カメラで繰り返し撮影して得た大量の画像データから,街並みの変化をモデル化する問題を取り扱う.
 
本研究の難しさは以下の点である.
 
 ① カメラ視点の変化
 ② カメラ視点の制約(道路沿いのみ)
 ③ 照明条件の変化
 ④ 建物流出等による画像特徴の不足
 ⑤ 広域推定による膨大な計算量
 ⑥ 上空視点画像との統合

 これまでにも異時刻の画像を用いてシーン変化を検出する手法が提案されているが,その多くは,固定視点,異なる時刻間で共通した十分な画像特徴,シーンの3次元モデル,これらいずれか,あるいは複数を仮定している.しかし,本研究では,車載カメラでシーンを撮影するためカメラ視点も毎回異なり,その視点も道路沿いに限定される.また,被災地では多くの建物が津波で流されたため,異なる時刻間で共通した画像特徴が十分に得られないケースも多い.さらに,すべての都市で街並みの3次元モデルを得ることは容易ではない.

 これらの問題を解決するために,本研究では,2次元,3次元,物体認識それぞれをベースとした時間変化の検出方法を提案した.まず,2次元ベースの手法でラフかつ高速にシーンの変化を検出する.その結果,詳細な分析が必要だと判断されたエリアに対してのみ,多視点幾何を利用した3次元ベースの手法で,より正確なシーンの変化を検出する.さらに,物体認識ベースの手法では,車載カメラの画像と衛星画像を組み合わせることで街全体の変化を推定する.

 2次元ベースの手法では,畳み込みニューラルネットワーク(CNN)を利用してシーンの変化を検出した.この手法は3次元モデルとピクセルレベルの正確な位置合わせが不要で,画像特徴が乏しい環境にも適用可能である.さらに,計算量も大幅に削減できる. (①,③,④,⑤)

 3次元ベースの手法では,多視点幾何とベイズ推定を融合することで,カメラ視点が道路沿いに限定され,シーンデプスに曖昧性が生じる場合でも,シーンの3次元構造の変化は正確に推定することができる.さらに,異なる時刻間でデプスの確率分布のみを共有するため照明条件に頑健である. (①,②,③)

 物体認識ベースの手法では,瓦礫の散乱状況や植生の変化を推定した.車載カメラで瓦礫などの物体を直接検出し,衛星画像から各エリアの相関を推定することで,車載カメラの未計測領域を補うことができる. (②,⑥)

 本研究の手法を統合することで,カメラを搭載した車両を走らせて街並みを定期的に撮影するだけで,街並みの変化を自動で検出することが可能となる.災害の被害地域では迅速に被害を把握でき,復旧作業の進捗も確認できる.さらに将来,自動走行車によるリアルタイムセンサーネットサークが構築され,そのビッグデータを用いて都市のモニタリングなどが可能になると考えている.

 
 

(2015年6月11日受付)
取得年月日:2015年3月
学位種別:博士(情報学)
大学:東北大学



推薦文
:(コンピュータビジョンとイメージメディア研究会)


本論文は,車載カメラで撮影した複数時刻の画像列を元に,市街地の時空間変化を推定する新しい問題を扱っている.多様な条件やニーズに対応できる複数の方法を提案しており,それらは東日本大震災の被災地の時空間変化を主な対象としつつ,汎用性も備える.このように多面的に評価できる研究として,本論文を推薦する.


著者からの一言


津波被災地という極限環境を対象にコンピュータビジョンで何ができるか,という視点から本研究はスタートしました.既存技術がまったく適用できない課題の解決方法を考えることは苦しくもあり新鮮でもありました.この災害から得た教訓と技術を今後の社会に活かすことが自分の責務であると考えています.