芸術作品に対する評価は鑑賞する人間の感性に基づくため，作品の質の定量化は困難とされる．本研究では，このような課題に取り組むために俳句を対象とし，深層言語モデルを用いて俳人と同様の評価が行えることを検証した．
マスク化言語モデルであるRoBERTaを用いて，与えられた文字列が俳句か否かを判別するモデルを獲得するために分類タスクを設定し，学習データによる正解率の違いを比較することで性能評価を行った．また，俳人によってランク付けされた俳句データをモデルで評価し，モデルによって算出された既存の俳句にどれほど近いかを示す値を評価指標として俳人による評価との一致度合いを確認した．