Webページの配色においてページ制作者の好みを適切に反映する困難さの要因として，HTMLへの適用といった作業の必要性，可読性などの多面的な評価の必要性が挙げられる．これに対して本研究では，ページ制作者の手間を低減し，好みに沿った配色を探索するシステムの構築を目的とする．試作したシステムでは，（１）任意のHTMLに対して自動的に配色案を生成し，（２）配色案に対する評価をユーザが入力することで，（３）ユーザ評価に基づく配色案を生成することを繰り返す．配色案生成には，マルチエージェント強化学習を採用し，可読性を重視した制約の中で解（配色案）を求めると共に，ユーザ評価を基に報酬関数を修正することで，新たな解を求める．