抄録
E-018
Encoder-Decoderニューラル対話モデルにおける単語埋め込みベクトルのノルムの調査
Encoder-Decoderニューラル対話モデルにおける単語埋め込みベクトルのノルムの調査
非タスク指向型の対話技術として，大量の対話コーパスをもとにEncoder-Decoder再帰型ニューラルネットワークを用いて応答文を生成する技術が研究されている．Decoderはニューラル言語モデルを応用し，EncoderはDecoderの内部状態を初期化すると理解されるが，その理解を深めるために形態素が入力された直後の単語埋め込み層の性質を調査した．単語埋め込み層により形態素入力は多次元ベクトルに置換されるため，そのノルムを測り，学習データ中の出現頻度，次単語予測のエントロピーとの関係性を分析した．分析の結果，EncoderとDecoderで学習される単語埋め込みベクトルのノルムは，学習データ中の出現頻度について反対の相関をもつことを確認した．