情報処理学会 第82回全国大会 会期:2020年3月5日~7日 会場:金沢工業大学 扇が丘キャンパス 情報処理学会 第82回全国大会 会期:2020年3月5日~7日 会場:金沢工業大学 扇が丘キャンパス

1T-01
文生成の長さ制御のための条件付き言語モデルの学習
○永塚光一,渥美雅保(創価大)
現在、GPTやGPT-2を始めとするTransformerを用いた言語モデルは、人間と近いレベルの流暢な文を生成することに成功している。また、CTRLのようなモデルは、文頭に制御コードと呼ばれるトークンを入力させて言語モデルを学習させることで、生成文のスタイルとトピックを制御コードに応じて生成させることを可能にした。しかしながら、これらの学習手法では、生成文を任意の長さに基づいて制御することが出来ない。そこで、本研究では、言語モデルを学習する際に、出力文の長さを分散表現として陽に入力することで、推論時に文の長さを制御することが可能な教師なし文生成手法を提案する。量的及び質的評価を行い、指定した文長に条件付けをして、自然な文が生成可能であることを示す。