製造工程における作業者の動作推定では,センサや動画データを収集し,機械学習で可視化を行う.一方のみを用いた場合は,情報の不足により実態把握が困難となるが,併用することで有用な可視化が可能となる.また,多大な労力を要する作業者の動作ラベル付けを省力化する必要がある.
本研究は,センサと動画を併用した動作推定手法を提案する。特に、センサデータに変化点検知を適用して動作区間を抽出し,クラスタリングや動的時間伸縮法を用いて傾向毎に統合することで,動作ラベル付けを省力化する手法を開発する.この手法を用いて,センサデータと骨格データを用いたマルチモーダル学習による動作推定を行った実験の結果を報告する.