対話システムやチャットボットが注目されており、チャットボット
で自然な対話を実現させることにチャレンジしている。そのような
手法のひとつとして、記憶を保持するTransformerによるチャット
ボットが提案されている。本研究では文脈を考慮した対話システム
におけるReminderの改良を提案する。従来のシステムでは、BERTを
用いたEncoderへ文章が入力されると、Transformerを用いたReminder
とDecoderを通して文脈を考慮した返答文が出力されるように学習が
行われる。しかしながら、この手法では話がかみ合っておらず、返
答が不自然になってしまっているという問題がある。この問題に対
して、Encoderの出力の位置と記憶する会話を取得する位置を変更す
ることで解決を目指す。