（邦訳：Poselets回帰と頭部検出器によるチームスポーツ映像での人物姿勢推定）
| 林 昌希 （株）Recreation Lab. ／慶應義塾大学大学院 理工学研究科 訪問研究員 |
［背景］戦術解析目的で，サッカーなどのチームスポーツ映像から人物姿勢推定を行いたい．
［問題］画像からの人物姿勢推定は限定的な状況でしか解かれておらず，多様なスポーツ選手の姿勢パターンすべてには対応できない．
［貢献］チームスポーツ動画から足の関節位置，背骨の傾き，体向きが推定できた．今後これらの姿勢を行動認識やプレー解析に応用できることも意味する．
本研究は，画像1枚から2関節間の相対的位置を推定するPosletes-Regressorを用い，追跡中の人物の毎フレームの関節位置を低計算コストで推定する，チームスポーツ動画向けの人物姿勢推定フレームワークを提案する.
提案したPoselets-Regressorは，基準関節（例：頭部中心もしくは骨盤中心）の位置を基準とする固定領域から計算した全身（半身）のHOG（Histograms of Oriented Gradients）特徴ベクトルを計算し，この特徴ベクトルからRandom Regression Forestsにより，基準位置を原点とする座標系において目標関節位置を推定する，「相対的な間接位置推定」である．
図が提案手法の処理の流れである．対象選手の頭部を追跡後，上半身と下半身の2段階でPoselets-Regressorを用いることで，各フレームの姿勢を推定する．まずステップ1で，人物姿勢推定の対象となる選手に対して頭部追跡を行う．次にステップ2では，頭部中心に位置合わせされたHOG特徴量を用いて，Poselets-Regressorにより骨盤中心位置を推定する．最後にステップ3では，4つのPoselets-Regressorにより下半身の4関節位置を独立に推定する．本手法は，基準関節が基準関節位置に存在しているHOGパターンしか学習・推定対象に用いない．したがって，「頭の中心が必ず基準位置に存在するHOGベクトルのパターン」のみをRandom Forestsの入力対象とできるので，入力と出力の結びつきが強くなる学習を行うことができる．
画像からの人物姿勢推定技術において研究対象としてほとんど取り扱われていない「単眼映像に横向きで映る人物の姿勢推定」を実現できていることが本研究の大きな貢献である．旧来はパーツごとの検出結果を学習されたパーツ位置関係で判定する人体パーツ形状モデル（例：Flexible-Mixtures-of-Parts）による手法が主流であったが，この手法では人が横を向いており奥側のパーツに遮蔽が多くなり写っていない場合に姿勢がうまく推定できない．これに対して提案手法は，位置合わせされた全身HOGによる判定であるので，各パーツが遮蔽していようがいまいが関節位置を安定して推定できる． 直感的に言い直せば，基準関節位置が揃った全身シルエットのみでパターン認識をしているといえる．実験ではサッカーやアメリカンフットボールの映像で，横向きに走る最中や，上半身が傾いている姿勢などのさまざまな姿勢に対して本手法を試し，（HOGの量子化サイズである）8ピクセル前後の平均誤差で済むという，良好な結果を確認することができた．また，紙面の都合上，詳細は述べないが，論文中4章では体幹の向きの推定もこのフレームワークに統合した形で提案しており，上半身の傾きが激しい姿勢時も含めて，選手の向いている方向も得ることが可能となった．
今後は本手法を洗練させていくことで，プロフェッショナルサッカーリーグ等ですでに普及している動画ベースのスポーツ選手追跡システムに各選手の姿勢情報の推定結果を追加し，かつその推定姿勢を用いた詳細なパフォーマンス解析や行動認識も研究開発できることを期待できる．
提案したPoselets-Regressorは，基準関節（例：頭部中心もしくは骨盤中心）の位置を基準とする固定領域から計算した全身（半身）のHOG（Histograms of Oriented Gradients）特徴ベクトルを計算し，この特徴ベクトルからRandom Regression Forestsにより，基準位置を原点とする座標系において目標関節位置を推定する，「相対的な間接位置推定」である．
図が提案手法の処理の流れである．対象選手の頭部を追跡後，上半身と下半身の2段階でPoselets-Regressorを用いることで，各フレームの姿勢を推定する．まずステップ1で，人物姿勢推定の対象となる選手に対して頭部追跡を行う．次にステップ2では，頭部中心に位置合わせされたHOG特徴量を用いて，Poselets-Regressorにより骨盤中心位置を推定する．最後にステップ3では，4つのPoselets-Regressorにより下半身の4関節位置を独立に推定する．本手法は，基準関節が基準関節位置に存在しているHOGパターンしか学習・推定対象に用いない．したがって，「頭の中心が必ず基準位置に存在するHOGベクトルのパターン」のみをRandom Forestsの入力対象とできるので，入力と出力の結びつきが強くなる学習を行うことができる．
画像からの人物姿勢推定技術において研究対象としてほとんど取り扱われていない「単眼映像に横向きで映る人物の姿勢推定」を実現できていることが本研究の大きな貢献である．旧来はパーツごとの検出結果を学習されたパーツ位置関係で判定する人体パーツ形状モデル（例：Flexible-Mixtures-of-Parts）による手法が主流であったが，この手法では人が横を向いており奥側のパーツに遮蔽が多くなり写っていない場合に姿勢がうまく推定できない．これに対して提案手法は，位置合わせされた全身HOGによる判定であるので，各パーツが遮蔽していようがいまいが関節位置を安定して推定できる． 直感的に言い直せば，基準関節位置が揃った全身シルエットのみでパターン認識をしているといえる．実験ではサッカーやアメリカンフットボールの映像で，横向きに走る最中や，上半身が傾いている姿勢などのさまざまな姿勢に対して本手法を試し，（HOGの量子化サイズである）8ピクセル前後の平均誤差で済むという，良好な結果を確認することができた．また，紙面の都合上，詳細は述べないが，論文中4章では体幹の向きの推定もこのフレームワークに統合した形で提案しており，上半身の傾きが激しい姿勢時も含めて，選手の向いている方向も得ることが可能となった．
今後は本手法を洗練させていくことで，プロフェッショナルサッカーリーグ等ですでに普及している動画ベースのスポーツ選手追跡システムに各選手の姿勢情報の推定結果を追加し，かつその推定姿勢を用いた詳細なパフォーマンス解析や行動認識も研究開発できることを期待できる．
（2016年6月10日受付）