Four-dimensional City Modeling using Vehicular Imagery

 コンピュータビジョンの分野において，シーンや対象物の多視点画像からそれらの3次元形状を復元する研究が長年行われている．近年では，ドローンなどの計測車両や3Dプリンターの発展により，測量や医療を始め多くの応用が実現されている．

 多視点画像を用いた3次元復元に関連し，異なる時刻に撮影された多視点画像から被撮影物の変化を推定する4次元モデリング（3次元空間+時間軸）の問題がある．本研究では，東日本大震災で被災した東北沿岸部を具体的な対象とし，車載カメラで繰り返し撮影して得た大量の画像データから，街並みの変化をモデル化する問題を取り扱う．
 
本研究の難しさは以下の点である．
 

 これまでにも異時刻の画像を用いてシーン変化を検出する手法が提案されているが，その多くは，固定視点，異なる時刻間で共通した十分な画像特徴，シーンの3次元モデル，これらいずれか，あるいは複数を仮定している．しかし，本研究では，車載カメラでシーンを撮影するためカメラ視点も毎回異なり，その視点も道路沿いに限定される．また，被災地では多くの建物が津波で流されたため，異なる時刻間で共通した画像特徴が十分に得られないケースも多い．さらに，すべての都市で街並みの３次元モデルを得ることは容易ではない．

 これらの問題を解決するために，本研究では，2次元，3次元，物体認識それぞれをベースとした時間変化の検出方法を提案した．まず，2次元ベースの手法でラフかつ高速にシーンの変化を検出する．その結果，詳細な分析が必要だと判断されたエリアに対してのみ，多視点幾何を利用した3次元ベースの手法で，より正確なシーンの変化を検出する．さらに，物体認識ベースの手法では，車載カメラの画像と衛星画像を組み合わせることで街全体の変化を推定する．

 2次元ベースの手法では，畳み込みニューラルネットワーク（CNN）を利用してシーンの変化を検出した．この手法は3次元モデルとピクセルレベルの正確な位置合わせが不要で，画像特徴が乏しい環境にも適用可能である．さらに，計算量も大幅に削減できる． （①，③，④，⑤）

 3次元ベースの手法では，多視点幾何とベイズ推定を融合することで，カメラ視点が道路沿いに限定され，シーンデプスに曖昧性が生じる場合でも，シーンの3次元構造の変化は正確に推定することができる．さらに，異なる時刻間でデプスの確率分布のみを共有するため照明条件に頑健である． （①，②，③）

 物体認識ベースの手法では，瓦礫の散乱状況や植生の変化を推定した．車載カメラで瓦礫などの物体を直接検出し，衛星画像から各エリアの相関を推定することで，車載カメラの未計測領域を補うことができる． （②，⑥）

 本研究の手法を統合することで，カメラを搭載した車両を走らせて街並みを定期的に撮影するだけで，街並みの変化を自動で検出することが可能となる．災害の被害地域では迅速に被害を把握でき，復旧作業の進捗も確認できる．さらに将来，自動走行車によるリアルタイムセンサーネットサークが構築され，そのビッグデータを用いて都市のモニタリングなどが可能になると考えている．