深層学習は従来の機械学習手法に比べて，自然言語処理などの様々な問題に対し高精度な推論を達成できる手法として期待されている．しかし，深層学習などの機械学習には推論結果についての解釈性や説明性がないものが多いという問題点も指摘されている．本稿では，推論結果に解釈性を付与する手法について考察をする．まず，Self-attentionとLSTMを併用した文書分類モデルを用いて根拠がアノテーションされた映画レビューを分類する．次に分類結果に対してsmoothgradやattentionに基づく解釈性の付与を行い，それらによる文書分類の解釈性付与結果を定量的に示す．