Q Learningの行動価値をDeep Learningの代表的な手法である畳み
込みニューラルネットワークを使用して学習するDeep Q-Networkに
関する研究が行われている。そのような研究の一つとして負の報酬
を獲得する状況を重視したDeep Q-Networkが提案されている。この
手法では、行動価値を負の報酬を獲得する可能性のある状況とそれ
以外の状況に分けて学習し、それらを状況に応じて使い分けること
で、負の報酬を獲得する状況を重視した学習や行動を行うことがで
きる。負の報酬を獲得しないことが重要な問題では、正の報酬を
最大化することのみを重視して行われる従来の方法よりも有効な
場合があり、障害物回避問題において有効性が確認されている。
この手法では、行動選択法としてε-greedy法が用いられているが、
それ以外の以外の行動選択法を用いた場合についての検討は行われ
ていない。そこで、本研究では、負の報酬を獲得する状況を重視
したDeep Q-Networkにおける行動選択法の検討を行う。