Modeling Spatiotemporal Correlations between Video Saliency and Gaze Dynamics

 我々が日常生活においてディスプレイに提示されたコンテンツに対面する状況，たとえばテレビ番組の視聴といった状況において，アイトラッカーと呼ばれる特殊なカメラを用いることで，我々がコンテンツ中のどこを見ていたのかという視線情報が記録できる．この視線情報がコンテンツによってどのように変化するかという関係性を明らかにできれば，たとえば新たに与えられたコンテンツから見られやすい部分を予測することができ，デザインやマーケティングにおける有効な手助けとなる．さらに，この関係性が人間の興味や集中といった心的状態によってどのように変化するかが分かれば，視線情報からその時々の心的状態を推定することができ，教育支援や運転支援において役立つと考えられる．

 人間の注視行動解析とも呼ぶべきこれらの研究課題は，インタラクション，視覚心理，コンピュータビジョン分野などで取り組まれており，特に近年では，上述の関係性を統計的学習に基づき獲得するアプローチが盛んである．しかしながら，そこで扱われるコンテンツは，多くの場合実験者により細かく統制されており，実環境において動的に変化する複雑な映像コンテンツを閲覧する状況に従来の枠組みを適用することは困難であった．

 この問題を解決するため，本研究では映像解析技術を利用し，複雑な映像の変化を単純・系統的な変化パターンの組合せによりモデル化するとともに，それらの変化パターンを用いて映像と視線情報の関係性を記述する枠組みを構築した．具体的にはまず，映像中において人間の目を引き付ける顕著領域を抽出，その基礎的な変化パターンを学習し，得られたパターンの組合せで映像全体の変化を効率的に表現する顕著性変動モデルを提案した． そして同モデルを利用し，「特定の変化パターンの組合せ（シーン）に対してどのような視線の動きが起こるか」および「特定の変化パターンに対してどの程度の時空間ずれとともに視線に反応が現れるか」という2種類の関係性（時空間相関）を扱える枠組みを提案した．

 論文中では，構築した枠組みに基づいて時空間相関を記述・統計的に学習することで，実環境におけるいくつかの注視行動解析を高度化できることを示している．たとえば，映像を閲覧する際の視線情報が心的状態によってどのように異なるかを学習することで，新たに与えられた視線情報から心的状態を推定するタスクでは，閲覧映像のシーンが固定的な状況が主に扱われてきた．これに対して提案手法では，顕著性変動モデルを用いて映像のシーンを分類し，シーンの種類ごとに異なる特徴を視線情報から抽出して利用することで，シーンの変化に適応的な推定を実現した．ほかにも，映像と視線情報のペアから視線が向きやすい映像特徴を学習することによって，新たに与えられた映像のどこが見られやすいかを予測するタスクでは，映像中の動きに対して視線が遅延する状況を扱えないという限界があった．これに対して提案手法では，視線が顕著領域の動きに対してどの程度の時間的ずれをともなうかを特徴として利用することで，上述の問題を解決した．