（邦訳：鏡面反射を利用したカメラキャリブレーション）
| 高橋 康輔 日本電信電話（株）NTTメディアインテリジェンス研究所 研究員 |
［背景］カメラ画像を用いた3次元空間解析に対する需要の高まり
［問題］実環境ではカメラキャリブレーションが困難な場合がある
［貢献］鏡による鏡像を利用したカメラキャリブレーション法の提案
カメラで撮影される画像は，光源から出た光や物体表面で反射した光がカメラのレンズを通じて撮像素子に集められることで得られる．この画像の生成過程を正確に把握することは，観測対象の三次元形状や運動の復元といった三次元的空間の解析を行う上で非常に重要な処理である．この画像の生成過程を把握するため，適切なカメラモデルを定め，そのカメラモデルが持つパラメータを推定することをカメラキャリブレーションと呼ぶ．
カメラキャリブレーションは多くの研究や応用において必須の処理である．従来手法の多くは，チェスボードのような構造が既知の参照物体をカメラが直接観測していることを想定している．しかしながら，この想定は実環境において必ずしも成り立つとは限らない．たとえば，カメラ固有のパラメータを求める内部キャリブレーションでは，高精度な推定のためにはカメラの視野を網羅するように構造が既知な参照物体を設置する必要がある．しかしながら，極端なスケールの環境（スタジアムのような大規模環境下や顕微鏡を用いたときのような極小環境下）では，適切な大きさの構造が既知な参照物体を用意することは容易ではない．また，カメラの位置姿勢を表すパラメータを求める外部キャリブレーションでは，ロボットのカメラとボディ（参照物体）や，スマートフォンのカメラとディスプレイ（参照物体）のように必ずしも参照物体がカメラの視野内に存在する関係とは限らない．本研究では，これらのように従来手法の想定が成り立たないような困難な環境においてもカメラキャリブレーションを実施する手法を実現した．
本研究では鏡の持つ2つの特性（a）鏡像は参照物体の座標値と鏡の法線および距離で表現できる，（b）鏡はカメラの視野を拡張できる，に着目し，それぞれを利用することで，上で述べたような課題を解決する新たなカメラキャリブレーション法を提案した． 本研究は以下の3つから構成されている．
（1）Kaleidoscopic Imaging Systemを利用した内部キャリブレーション法
複数枚の平面鏡から成るKaleidoscopic Imaging Systemを通して得られる像および鏡像の三次元点は，平面鏡の法線および距離のパラメータを用いることでパラメトリックな三次元モデルとみなせる．本研究ではそれらの投影像の間に新たな幾何成約であるKaleidoscopic Projection Constraintを見出し，それを利用することで構造が未知な観測対象の像からカメラの内部パラメータを推定する手法を提案した．
（2）平面鏡を利用した外部キャリブレーション法
カメラとカメラの視野外に存在する参照物体の位置関係（外部パラメータ）を求める問題において，参照物体が観測できるように平面鏡を利用する．本研究では平面鏡の鏡像間に成り立つ直交制約を利用し，最小構成かつ高精度に外部パラメータを導出する線形解法を提案した．
（3）眼球反射を利用した外部キャリブレーション法
（2）と同様の問題において，常に平面鏡を利用することは実用の観点から困難な場合がある．本研究では人間の眼球が鏡のように光を反射することに着目し，球面鏡としてモデル化することで，最小構成かつ十分な精度で外部キャリブレーションを実現する手法を提案した．
カメラキャリブレーションは多くの研究や応用において必須の処理である．従来手法の多くは，チェスボードのような構造が既知の参照物体をカメラが直接観測していることを想定している．しかしながら，この想定は実環境において必ずしも成り立つとは限らない．たとえば，カメラ固有のパラメータを求める内部キャリブレーションでは，高精度な推定のためにはカメラの視野を網羅するように構造が既知な参照物体を設置する必要がある．しかしながら，極端なスケールの環境（スタジアムのような大規模環境下や顕微鏡を用いたときのような極小環境下）では，適切な大きさの構造が既知な参照物体を用意することは容易ではない．また，カメラの位置姿勢を表すパラメータを求める外部キャリブレーションでは，ロボットのカメラとボディ（参照物体）や，スマートフォンのカメラとディスプレイ（参照物体）のように必ずしも参照物体がカメラの視野内に存在する関係とは限らない．本研究では，これらのように従来手法の想定が成り立たないような困難な環境においてもカメラキャリブレーションを実施する手法を実現した．
本研究では鏡の持つ2つの特性（a）鏡像は参照物体の座標値と鏡の法線および距離で表現できる，（b）鏡はカメラの視野を拡張できる，に着目し，それぞれを利用することで，上で述べたような課題を解決する新たなカメラキャリブレーション法を提案した． 本研究は以下の3つから構成されている．
（1）Kaleidoscopic Imaging Systemを利用した内部キャリブレーション法
複数枚の平面鏡から成るKaleidoscopic Imaging Systemを通して得られる像および鏡像の三次元点は，平面鏡の法線および距離のパラメータを用いることでパラメトリックな三次元モデルとみなせる．本研究ではそれらの投影像の間に新たな幾何成約であるKaleidoscopic Projection Constraintを見出し，それを利用することで構造が未知な観測対象の像からカメラの内部パラメータを推定する手法を提案した．
（2）平面鏡を利用した外部キャリブレーション法
カメラとカメラの視野外に存在する参照物体の位置関係（外部パラメータ）を求める問題において，参照物体が観測できるように平面鏡を利用する．本研究では平面鏡の鏡像間に成り立つ直交制約を利用し，最小構成かつ高精度に外部パラメータを導出する線形解法を提案した．
（3）眼球反射を利用した外部キャリブレーション法
（2）と同様の問題において，常に平面鏡を利用することは実用の観点から困難な場合がある．本研究では人間の眼球が鏡のように光を反射することに着目し，球面鏡としてモデル化することで，最小構成かつ十分な精度で外部キャリブレーションを実現する手法を提案した．
（2018年5月30日受付）