Variational Bayesian Image Restoration with Transformation Parameter Estimation

 画像復元は劣化を画像から取り除く技法であり，実世界で高画質な画像を得るために重要である．劣化画像から原画像を復元するには劣化時の光学的な画像変換を反転すればよいが， この変換を定めるパラメータの値は一般に未知であるため推定が必要となる．しかし程度の激しい，あるいは複雑な劣化が生じている場合，劣化画像からのパラメータ推定は不正確になるため，伝統的な画像復元の性能は限られていた．本研究では変分ベイズ法による統計推論により，変換パラメータと原画像を同時に推定する画像復元の方法論を確立した．これによりパラメータ間の依存性や推定の不確かさを考慮することができ，正確なパラメータ推定に基づく高画質な復元が可能となった．

 具体的にはまず多フレーム雑音除去の問題において，全パラメータの自動調整が可能であるという変分ベイズ復元の特長を活かしつつ，複数の画像を利用して高画質な復元を実現した．ここで動き等による画像間の変位を補正するため，変換として画像の幾何的な変形を導入し， これをオプティカルフロー（画素単位の移動量）によってパラメータ化した上で，原画像や他の制御パラメータと同時に推定した．結果として，単一の画像のみを用いる単フレーム雑音除去よりも雑音を効果的に取り除くことができ，見た目のみならず標準的な画質の尺度であるピーク信号対雑音比についても高画質な画像を復元できた．

 次にぼけ除去の問題において，焦点ずれや動きにより画像中で一様でない複雑な劣化に対処するため，局所的な畳み込みによる変換を画素単位の核（ぼけのパターンを表す関数）の場でパラメータ化する柔軟なぼけのモデルを考案した．ここで未知パラメータ数の増大に対処するため，核の場の滑らかさを正則化に利用して推定を行った．結果として，単一の核による一様な劣化を仮定する場合よりも正確なぼけの推定ができ，非一様なぼけを取り除くことに成功した．

 最後に口径食除去の問題において，雑音による激しい劣化がある場合にも安定した復元を行うため，劣化画像のみならず雑音のない原画像を口径食の推定において利用した．これは雑音除去のための平滑化を行なった原画像の推定値とその不確かさを得て，それらを利得（各画素の明るさを変える変換）のパラメータである口径食関数の推定時に考慮することで行った．結果として，雑音を考慮しない場合よりも安定した推定に基づき，口径食と雑音を同時に除去することができた．

 本研究の変分ベイズ画像復元の方法論により，さまざまな画像復元の問題を変換パラメータのある劣化モデルに基づく推論という統一された形で扱うことが可能となった．またそれによって開発された手法は，激しく複雑な劣化に対しても高画質を達成でき有効であることが確認された．将来の展望としては，手動でのパラメータ調整が不要であるという特長を活かし，劣化の避けられない実世界で撮影されたさまざまな画像を扱うコンピュータビジョン等の分野への応用が考えられる．

 

 

（2018年5月31日受付）