本研究では，商品レビュー文からレビュアーの心情を抽出するタスクに対して，BERTの各機構がタスクの精度向上のためにどのような役割を果たしているのかを明らかにすること目的とする．分析対象は，心情カテゴリをラベル付けした5000件のAmazon.comのレビュー文である．そして，東北大学の日本語BERTモデルをはじめとする様々な条件の機械学習モデルで学習を行う実験をした．実験結果から，BERTのPositional Embeddingが単語の語順を考慮し，Transformer Eocnderが文脈理解の精度を強めることがわかった．さらに，BERTには言葉の裏を読む性能に限界があることもわかった．