Discrete Inference Approaches to Image Segmentation and Dense Correspondence

(邦訳:画像領域分割と対応点推定問題への離散最適化アプローチ
 
谷合 竜典

理化学研究所 革新知能統合研究センター 特別研究員

[背景]画像の理解・認識技術への需要の高まり
[問題]画像領域分割と複数画像間の対応点推定
[貢献]新たな同時推定の枠組みと最適化手法の提案
 
 近年,人工知能の研究が大きな注目を集めている.とりわけ画像や動画の理解・認識を目標とするコンピュータ・ビジョン分野は,自動運転に代表されるような潜在的な応用シーンの幅広さや,画像による直感的な解析を可能とする性質から,ビジネスと学術の両方において人工知能研究を牽引する役割の一端を担っている.ここで,画像の理解には大きく分けて,写っている物体クラスや人の行動の認識といった高水準の理解と,物体の3次元形状やシーンの奥行きやモーションの推定といった低水準の理解がある.特に高水準理解の領域は深層学習との親和性が高く,その発展が目まぐるしいが,高水準の理解には低水準の情報がしばしば重要になる.

 本研究では,画像の領域分割と対応点推定という2つの低水準な問題に対して,これらを個別にあるいは同時に推定する枠組みと,その推論にまつわる数理的最適化手法を提案した.領域分割と対応点推定は,シーンや問題設定に応じてさまざまな具体的タスクに変容するが(図参照),本研究では,これらをマルコフ確率場上のラベリング問題として俯瞰し,その離散最適化アプローチを検討する.これには3つの推論上の困難(非劣モジュラ性,高階エネルギー,ラベル空間サイズ)が伴い,これらの困難にも以下の4つのタスクの中で包括的に取り組む.

 1つ目のタスクでは,ラベル空間が2値だが,エネルギーが高階であり非劣モジュラなマルコフ確率場の推定問題を扱う.ここでは,いくつかの既存手法の理論的な関連性を指摘した上で,それらを統合する新たな手法を提案した.提案手法は,悪い局所解を避けるための仕組みを有しており,画像領域分割や2値化のタスクにおいて,従来手法より優れた精度や効率性,初期値に対するロバスト性が示された.

 2つ目のタスクでは,二眼ステレオ(奥行き推定)問題を,3次元の連続なラベル空間を持つマルコフ確率場の推定問題として定式化し,広大なラベル空間を効率的に推定する手法を提案した.提案手法は,ステレオ手法の標準的ベンチマークにおいて160以上の手法を抜いて最も優れた精度が示された.

 3つ目のタスクでは,2枚の異なるシーンの画像に対して,共通の物体領域を推定しつつ,物体領域間の密な対応点を推定する手法を提案した.見た目が大きく異なる物体同士に対してもロバストに対応点を推定するため,提案手法では,階層的マルコフ確率場を用いており,特にこの階層構造を領域分割や対応点とともに動的に推定するアプローチを提案した.

 4つ目のタスクでは,ステレオ,オプティカル・フロー(モーション推定),モーション領域分割および,カメラ自己動き推定の4つのタスクを同時に行う手法を提案した.提案手法は,これらのタスク間に存在する冗長性を利用して不要な計算を削減し,多次元ラベル空間の探索を効率化した.提案手法は,KITTIベンチマークにおいて3番目の精度が示され,上位6つの最新手法より10〜1000倍高速なCPU実行速度を達成した.

 

(2017年5月15日受付)
取得年月日:2017年3月
学位種別:博士(情報理工学)
大学:東京大学



推薦文
:(コンピュータビジョンとイメージメディア研究会)


本論文は,マルコフ確率場の推論とその応用として画像領域分割とが密な点対応推定について取り組んだ研究で,離散最適化問題の主要課題に包括的に取り組むことにより,画像領域分割と密対応点推定を統合する枠組みを提案したものである.その成果はトップ国際会議であるCVPRにも採択されるなど,国内外で高く評価されている.


著者からの一言


この博士論文の執筆にあたって,たくさんの方々のお力添えがありました.指導教員およびMSR/MSRAインターン時のメンターとして,東大の佐藤洋一教授と苗村健教授,さらに阪大の松下康之教授(当時MSRA)とSudipa Sinha博士(MSR)に,御礼申し上げます.これからも応用と数理最適化の間を取り持つような研究者を目指して邁進していきたいです.