ニューラルネットワークを用いた質問応答では、機械読解やオープン検索質問応答などが研究され、近年はクローズドブック質問応答の研究が進められている。本研究では、クローズドブック質問応答を行い、言語モデルに一般知識を持たせることで、構造化知識を内包する自然言語理解システムの構築を目指す。先行研究に倣い、事前学習済みBARTモデル用いて、クローズドブック質問応答のタスクでファインチューニングを行い、日本語文書での知識と構造の獲得を実証する。事前学習で知識をより効率的に言語モデルに蓄積させるために、知識の中心となる重要語句や文字列を明らかにして学習例として与えるマスキング戦略モデルを提案する。