TwitterなどのSNSには企業がマーケティングを行う上で有益な情報が含まれている。しかし、重要度の高い意見は含まれている割合が少なく、手動で膨大な投稿データから意見を抽出するのは困難である。そこで、機械学習による自動化を用いて意見を抽出する研究が行われている。しかしながら、SNSには意見の割合が少ないためそこからデータセットを作成しようとすると不均衡なデータとなってしまい十分な精度の意見判別器を作成できない。楽天レビューモデルからの知識蒸留を用いることで、意見判別器の精度を改善する手法について検証する。