本研究では、BERTやその派生モデルが英文空所補充問題をどの程度解けるのか調査した。短文の空所を選択肢から選ぶ形式の大学入試の問題における評価実験の結果、マスク言語モデルは全体として9割を超える正解率を達成することがわかった。また、BERTは文法の問題よりも慣用表現の問題を得意とするが、ALBERTは反対の性質を持つなど、モデルごとに得意とする問題種別に違いがあることが明らかになった。