建設業では，転倒や滑落，建設機械と作業員の接触などの労働災害を軽減するために，安全管理を支援する技術の導入が検討されている．建設機械との接触を検知する技術に着目すると，既存研究では動画像から建設機械と作業員を検出し，それらが接近した場合に危険を警告する技術が提案されている．しかし，建設機械の作業状態を考慮していないため，停止中の建設機械に接近した場合も危険と判断される課題がある．そこで，本研究では，動画像から深層学習を用いて建設機械を検出し，車体や可動部の動きから建設機械の作業状態を判定する手法を提案する．そして，実証実験にて建設機械における作業状態の精度を評価し，提案手法の有効性を検証した．