近年，労働現場では労働者の高年齢化が進行している．高年齢労働者は，事故発生率が若年者と比較して高いため，建設現場などにおける従事者の安全管理を行うことが必要不可欠である．本研究では，作業管理システムの構築を目的とし，疲労検出および危険行動予測に関する手法の構築を行う．これまでに，骨格特徴点を用いて動きを認識する手法に関して検討を加えたが，その手法に対して，特徴量の有効性および手法の汎用性に関して検討が十分ではないことを認めた．本稿では，建築現場などにおける複数な作業動作および異常動作を認識し，ならびに実用性がある判別成功率を維持するために，提案手法の改善および汎用性に関して検討を加えた．