Half Field Offense （HFO）はサッカー特有の課題を含み，意思決定アルゴリズムの研究や評価をするために開発された環境である．近年，HFOの課題を解決するために深層強化学習を適用する研究がされている．しかしながら，先行研究ではシングルエージェントを対象とした研究が多く，マルチエージェント強化学習の課題についてあまり研究されていない．そのため本研究ではマルチエージェント強化学習における同時学習での学習エピソードが増加する問題を扱う．この問題を改善するために好奇心駆動探索とコミュニケーションを利用した手法を提案する．HFOでタスクを学習させる実験をした結果，既存手法と比べて学習エピソードが大幅に減少し，同時学習が可能であることが分かった．