2C-06
VisualSLAMと単眼深度推定を用いた背景3Dメッシュ一体型半リアルタイム3次元骨格投影パイプライン
○武川祐貴(マーブル)
単眼RGB映像に基づく3次元骨格推定では,カメラ移動やスケール不定性により人物と背景の位置関係が破綻しやすく,一貫した三次元可視化が困難である.本研究では,3D骨格キーポイントと背景3Dメッシュを同一スケールで復元し半リアルタイムに表示するパイプラインを構築する.VisualSLAMと学習ベース3D復元によりカメラ姿勢と背景3Dメッシュを生成,入力映像と同一視点の深度マップをレンダリングして背景領域を単眼深度推定の手掛かりに利用,人領域を含むスケール整合な深度マップから骨格キーポイントの奥行きを補正する.これによりカメラが動く環境でも人物と背景の位置関係を保つ三次元可視化を実現する.