近年，製造業における作業員の行動解析の要望が高まっている．自動車組立においては，作業手順の把握と作業時間の計測を自動化する手段として，畳み込みニューラルネットワークをベースとした手法の有効性が示されている．しかし，行動解析を行うための深層ニューラルネットワークを教師あり学習により訓練するためには，映像を構成するフレーム単位のラベルが必要となり，教師データの不足が問題となる．このため本研究では，マルチモーダル基盤モデルを本問題に適用し，言語モダリティを活用した少量の教師ラベル付き訓練データでのモデルの学習手法を提案する．