近年,労働者人口の減少により工場や病院などでの自律移動ロボットの需要が高まっており,段差や階段などの屋内環境に依存しないロボットの重要性が高まることが予想される.本研究では,車両型ロボットの移動の自由度を高めるためロボットに四足歩行機能を搭載し,その自律移動を強化学習により学習した.
ロボットは深度カメラを用いて環境認識を行うが,ロボットの移動動作の獲得とカメラによる環境認識を単一の強化学習のタスクとして学習するのは困難であったため,階層的強化学習を用いることでモータ制御などの低レイヤのタスクとカメラの画像処理などの高レイヤのタスクを分離させ学習を行った.