（邦訳：実世界の外見変化を再現するための対話的な画像編集手法）
| 遠藤 結城 筑波大学 助教 |
［背景］簡単かつ写実的な実世界現象の再現技術の需要
［問題］従来手法は3Dモデルが対象で扱いづらく2D画像には適用不可
［貢献］2D画像に適した実世界現象モデルや簡単な編集方法の提案
［問題］従来手法は3Dモデルが対象で扱いづらく2D画像には適用不可
［貢献］2D画像に適した実世界現象モデルや簡単な編集方法の提案
実世界の物体や風景は，苔や錆のような経年変化や，水面やガラスの映り込みのような光学現象などによって，その見え方を多様に変える．画像コンテンツ制作においては，特定のシーンを自然に表現するために，そのような現象の再現が重要な役割を果たす．最近は誰もが大量の画像データを手にできるようになり，画像編集技術の必要性が増しているものの，多くのユーザにとって一般的な画像編集ソフトウェアを用いて自然な画像を作るのは難しい．その理由として，ソフトウェアへの習熟だけでなく，扱う現象に対する物理的な知識も要求されることが考えられる．
コンピュータグラフィクス（CG）の分野において，実世界における物体の外見変化をCGで再現する方法は古くから研究されてきた．しかし多くが3Dモデルの入力を対象としたものであり，情報量の少ない2D画像から写実的なコンテンツを作るのは容易ではなかった．
そこで本研究では，簡単な操作で画像中の実世界現象を再現・編集することを目的に，次の4つの研究課題に取り組んだ．
（1）物理シミュレーションベースの経年変化の再現
コンピュータグラフィクス（CG）の分野において，実世界における物体の外見変化をCGで再現する方法は古くから研究されてきた．しかし多くが3Dモデルの入力を対象としたものであり，情報量の少ない2D画像から写実的なコンテンツを作るのは容易ではなかった．
そこで本研究では，簡単な操作で画像中の実世界現象を再現・編集することを目的に，次の4つの研究課題に取り組んだ．
（1）物理シミュレーションベースの経年変化の再現
まず，私たちが実世界でよく目にする経年変化の中でも，視覚的に顕著である水汚れに着目し，粒子シミュレーションを利用した水汚れの再現手法を考案した．具体的には既存の3Dモデルを前提としたシミュレーションモデルを，2D画像に適用できるように改良し，シーンの奥行きを考慮しながら対話的な編集が可能なユーザインタフェースを提案した．
（2） 画像サンプルを使った事例ベースの経年変化の再現
1つ目の課題のように特定の現象に特化した手法は，写実的な結果を作れるのが利点な一方で，汎用性の低さが欠点であった．そこでより多様な経年変化を再現するために，実画像のサンプルを利用したアプローチを検討した．特に，従来手法よりも多様な経年変化を扱えるように，画像の高周波成分の合成に基づく改良を施した．
（3）マッティングと再合成をベースとした光学現象の再現
経年変化に加え，水面などに生じる映り込みを再現する手法を提案した．提案手法は，フレネル反射と呼ばれる光学現象に基づいて，画素値を反射光や透過光に分離するマッティングを行い，新たな映り込みを再合成する．マッティングは画像中の前景と背景を分離する目的においては一般的なアプローチであったが，水面のように波打った面における複雑な映り込みを扱えるものは本研究が初である．
（4）ユーザの意図を考慮した対話的な画像編集
対話的な画像編集を効率化するために課題となるのが編集領域の指定方法であり，本研究では少ないユーザ入力で，意図する画像領域を抽出するedit propagation の手法を提案した．従来のedit propagationにおいては，ユーザの意図を汲んだ画像特徴量の設計が問題であったが，提案手法では深層学習を利用したアプローチによりこの問題を解決した．提案手法の応用例として物体の色変更なども示した．
以上本研究について，さまざまな適用例やユーザテストを通して既存手法と比較することで，提案手法によって簡単かつ自然な画像編集が可能なことを検証した．
（2017年5月26日受付）