近年，マルチエージェントシステムにおけるエージェント同士の協調や，競合の解消のための手段として自動交渉が注目されている．二者間の自動交渉では，相手エージェントと提案を交互に送り，相手の提案を受け入れた時点で交渉が終了する．そのため，相手の提案を判断するための受入戦略は，自身の効用を高める点で重要である．本研究では，Deep Q-Networkを用いて相手からの提案を受け入れるかを判断する自動交渉のための深層強化学習フレームワークを新たに提案する．評価実験として，学習に使用する報酬関数を比較することで，既存手法と比べてより高い効用を得られること，それはどのような条件で学習したときであるかを示す．