近年、生産物流現場における作業者の行動分析は、ウェラブルデバイスやカメラデバイスから得られる情報に機械学習を用いることで、スマートファクトリ―への活用が期待されている。しかしながら、これら手法は、推定精度、設置コストを考慮し、状況に応じて使い分ける必要性があり、広く普及には至っていない。本研究では、センサデータと骨格データを組み合わせた作業者の行動推定手法の提案を行う。すなわち、グラフ構造を用いた機械学習モデルを用いると共に、簡易ウェアラブルデバイスから取得されるセンサデータをマルチモーダル学習することで、現場で生じる骨格データ取得の欠損等の課題に強い行動推定を目指している。本稿では、提案手法の有用性を検証するために行った実験の結果を報告する。