Retrieval and Drawing Assistance for Manga

 漫画は，年間の販売部数が10億冊を超えるビッグコンテンツである．海外からの注目度も高く，経済産業省は日本の文化を海外に売り込むクール・ジャパン戦略で漫画を重要視している．また，近年電子出版市場の成長が著しく，電子漫画はすでに大きな市場を形成している．今後その普及は加速されていくに違いない．漫画が電子的な画像として扱えるようになれば，それに画像処理を施し利用に役立てることができる．近年のコンピュータビジョン分野では，大量の画像を用いたデータドリブンな手法の発展によって，画像の認識や自動キャプショニングなどの驚くべき応用処理が現実のものになりつつある．電子漫画もまた，大量の画像情報が準備されつつある．それらの大量の漫画画像を前にして，どのような応用処理が可能となるだろうか．

 この疑問に答えるため，本稿では（1）基盤的な探索技術として，スケッチを用いた漫画画像検索，（2）その理論的な高速化として，直積量子化コードに対するハッシュテーブルを用いた高速な近似最近傍探索，（3）基盤技術を用いた応用処理として，データドリブンな描画支援手法，を提案した．

 まず，大量の漫画画像を扱うための最も基本的な処理は「探索」，すなわち似ている画像を探す処理である．漫画は白黒の線画であるため，自然画像を対象に設計された手法が必ずしもうまく働かない．そこで私はユーザがラフな絵（スケッチ）を描き，それを用いて漫画画像を検索する手法を開発した．加えて，検索結果を修正再利用する仕組みも導入し，従来の単語検索ではなしえない検索を実現した．これを評価するために，私および私が所属する研究グループは，研究目的で自由に利用できる漫画データセットであるManga109を構築，公開した．

 次に，実際の漫画画像検索を考えると，検索技術は大量の画像に対しても十分に高速でなくてはならない．そこで，私は探索技術の理論面である近似最近傍探索の発展に取り組んだ．私は直積量子化コードをハッシュテーブルを用いて探す手法を提案した．これまでの最新の近似最近傍探索技術は10億個のベクトルに対し10ms程度での検索が可能であったが，十分に性能を発揮するためには学習やパラメータチューニングを行う必要があった．それに対し，私は同程度の速度を達成しつつ，従来必須だった前処理を必要としない，実用的に有用な手法を提案した．

 最後に，大量漫画画像によるデータドリブンな手法の一例として，スケッチ検索による描画支援手法を提案した．一般に素人にとって絵を描くことは難しい作業だが，スケッチ検索の技術および大規模イラストデータベースを用いることで，参考とするイラストを検索してそれを元にお絵かきを行うシステムを提案した．ここでは，ユーザ絵を描き，それに対しシステムが自動的に似ている絵を提案する．ユーザは参考にしたい領域と自分の絵の領域を指定することで，その2つのスケッチを「混ぜる」可視化をシステムが提示する．これにより，ユーザは参考とする絵と自分の絵を混ぜるという支援を受けながらお絵かきをすることができる．