近年, ロボット工学の発展によりヒューマノイドロボットの活用が注目され始めている. しかし, ヒューマノイドロボットを筆頭とした高自由度ロボットにおける強化学習は実空間の複雑な状況や, 膨大な学習時間が必要な点から困難であるとされる. そこで, 本研究では深層強化学習とファインチューニングの組合せに着目する. 駆動関節を制限した状態で運動を学習し, その結果を高自由度での運動学習開始時に転移する段階学習を行い, 目的の運動を高精度で達成する手法を提案する. 仮想環境を用いてヒューマノイドロボットの運動を学習し, 提案手法の有効性を検証する.