ニューラルネットワークは医療やセキュリティなど人間の生活に大きな影響を与えている．しかし，ニューラルネットワークのモデルは複雑であり，人間が解釈することは難しく，実質的なブラックボックスとなっている．そのため，ニューラルネットワークを安全に使用するために，その予測根拠の説明可能性は重要である．この問題の解決に向けて，全結合型や畳み込みニューラルネットワークの処理を可視化する方法が提案された．それはネットワーク出力をユニット出力で偏微分した値の変動によって，重要なユニットを特定するというものである．本研究では，同様の手法が再帰型ニューラルネットワーク（RNN）にも適用可能か調査した結果を報告する．