近年の物流業界の人手不足の解決策として無人ドローンによる配送が期待されている．先行研究では，複数のドローンが最適な経路を探索する問題について，マルチエージェント強化学習による手法が提案されている．しかし，学習効率と精度を向上させるため，各エージェントの報酬を適切に設計する必要がある．そこで，本研究では，ドローン配送問題のマルチエージェント強化学習において，エージェント毎の行動とエージェント間の協調に関する報酬設計を行う．具体的には，ドローンの目的地に近づくことと他のドローンと協調し衝突なく目的地に到着することに対して追加報酬を与える．実験によって，本研究の提案手法の有効性を示した．