Automatic English Vocabulary Question Generation for Efficient Measurement of Learner Proficiency

(邦訳:英語学習者の効率的な語彙能力測定のための自動問題生成)
 
Yuni Susanti
(株)富士通研究所 研究員

 キーワード
自然言語処理 問題自動生成 コンピュータ適応型テスト

[背景]英語試験では
出題する問題の作成に多くの時間を費やしている
[問題]自動生成された問題が無効にならないよう高度な精度を得ることは重要
[貢献]語義の曖昧性解消を「避ける」方法として,「検索する」方法を提案した


 語学試験の実施は,語学学習者の能力を評価するために非常に重要である.しかし,各試験では,出題する問題の作成に多くの時間を費やしている.専門知識のない人間が問題を手動で作成するのは困難であるため,専門家の高度な技術が必要となる.そのため,計算機による問題の自動生成(Automatic Question Generation, AQG)が可能となれば,これによって問題作成者を助け,試験用の問題を作成する際の負担を軽減させることができ,語学試験の実施をより頻繁に実施できるようになるなど,語学学習に大きな進歩をもたらすことができる.

 本研究ではTOEFLの語彙問題をモデルにした,ある単語と意味の近い単語を選ぶ問題を生成する方法を提案した.この種の問題では,問題の選択肢(正解となる単語とそれ以外の不正解となる単語)を生成するため,特定の文脈において現れる単語の意味を判断することが重要になる.それを決定するための直接的なアプローチは語義の曖昧性解消(Word Sense Disambiguation, WSD)を使用することだが,現在のWSDは最新の手法においてもその精度は約70〜80%にしか達しないため,語彙問題の生成には不十分である.本研究においては高度な精度を得ることは非常に重要であり,正しい語義を同定できなければ生成された問題は無効になる.本研究では語義の曖昧性解消を「避ける」方法として,「検索する」方法を提案した.具体的には,対象単語とその単語の意味をひとつ指定し,指定された意味を持つ単語を使用して文章を検索する方法である.この方法によって生成された問題を,人間が作った問題とあわせて被験者(学生)に解いてもらうことによって評価した.評価実験を分析した結果,本研究で提案した手法で生成された問題は,被験者の習熟度を測定する目的において人間が作った問題に匹敵するという結果を示した.

 さらに,本研究ではAQGとコンピュータ適応型テスト(Computerized Adaptive Test, CAT)の統合を行った.CATは受験者の回答に応じて,難易度の異なる問題を動的に出題することにより,短時間かつ高精度で受験者の特性を測定する方法である.本研究はAQGとCATを動的に統合する手法を提案した.提案手法においては,受験者の熟練度に適した問題が試験中に動的に作成される.これを行うためには,本質的に,AQGは,問題の構成要素(対象単語,文書,正解と不正解となる単語)によって決定される,特定の難易度で問題を生成する必要がある.本研究では,問題の難しさに影響を与える要因を調査することから始め,実際の受験者から得た回答データを使用し,AQG-CATの統合のためのシミュレーションを行った.シミュレーション実験を分析すると,AQG-CATの統合の可能性を証明する有望な結果が示された.

 
 

 (2019年5月29日受付)
 
取得年月日:2018年9月
学位種別:博士(工学)
大学:東京工業大学



推薦文
:(自然言語処理研究会)


本論文は英語文章中のある単語の意味に一番近い語を選択肢から選ぶ英語語彙問題を難易度を制御しつつ自動生成する手法を提案した.文章中の単語を空欄にする手法が多い中,本論文は指定した語の同義語を正解とする問題を生成できる点が新しい.また,問題作成者と言語学習者の両方の観点から実験を行い有効性を示している.


研究生活


学部4年生のとき,私は母国のインドネシアで,英語を学ぶことに苦労していました.日本に留学する奨学金を申請するためには,TOEFLテストを受けなければなりませんが,英語の勉強に必要なワークシートが不足していたからです.この経験から,記事から問題を自動的に生成できればいいなあと思い(良いと考え),この研究テーマに決定しました.博士課程においては,博士課程の他の学生のように,常に浮き沈みがありました.博士課程は長期的なものであり,自分の研究にあまり進捗がなく,やる気を失うこともありました.そのような困難なときも,両親は電話を通して精神的支援を与えてくれました.また,指導教員の徳永健伸教授をはじめ,研究室の皆様には大変お世話になりました.ありがとうございました.