近年、多くの人がSNSの投稿を通じて、情報を発信するようになった。様々な人から発信された情報から投稿者の職業などの属性を推定することができれば、マーケティングに役立てることができると思われる。自然言語処理に用いられているBERTは、従来のモデルでは文章を単一方向から学習していたのに対して、文章を双方向のTransformersによって学習することにより、文脈理解に優れたマルチタスク処理が可能である。本研究ではBERTを用いてマイクロブログの投稿から投稿者の職業を学習・推定し、その精度向上を目指す。