文章作成技術の形成的評価に関する研究

 
藤田 彬
国立情報学研究所 特任研究員

[背景]文章(作文・小論文)評価の効率化,公平性の確保
[問題]国語教育的評価項目に沿った,人手による文章評価のモデル化
[貢献]評価において着目される言語的要素の明示,要素毎の重みの定量化の実現


 文章情報の処理・創造能力の中核を占める文章作成技術は,主に学校教育の学習の中で体得されるものである.特に国語科の授業における指導によるものが重きを占めており,意見文や説明文などの作文や,小論文の書き方の指導の中で,自己の意見や身の回りで起きた出来事を他者に的確に伝達する基礎的な技術が習得されている.また,近年では教育機関や企業における教育手段として,コンピュータ上で指導,試験を行うe-learningシステムが普及しており,このシステムを通じて技術の習得を行う方法も存在する.

 これらの文章作成技術についての指導は,学習者が文章を作成し,評価者としての役割を果たす人物,またはシステムが文章に対して形成的評価を行い,その結果に基づいて学習者が技術を会得するという3つのフェーズで構成される.学習者の作文能力の向上には,評価者による学習者の技術習得状況に併せた的確な形成的評価の実施が不可欠である.さらに,評価方法についても,選択形式問題を通じて行う評価のみでは文章作成技術の教育手段として不十分であり,特に論理的に記述する力や表現力については自由記述形式問題で測定する必要がある.

 しかしながら,各学習者の技術習得状況を考慮した上で大量の文章を一斉に評価するためには,さまざまな問題を解消する必要がある.1つに,評価に要する労力と時間が問題として挙げられる.記述式回答の評価は,選択式回答の評価に比べて捉えるべき情報と考慮すべき基準が多く,それらの情報や基準自体も複雑である.また評価作業が複雑であるため,結果が学習者に提示されるまでに多くの時間を要する.さらに,評価基準の安定性が問題として挙げられる.文章の良悪基準は,評価者個々において完全に固定的なものとは限らない.評価順序に因る系列的効果や,ハロー効果の影響も考えられる.また,このような条件において他の評価者との基準の統合を行う場合,少なくとも基準の差異についての定量的な情報がない限り,統合は困難といえる.

 これらの問題に対し本研究では,評価作業の効率化や評価の公平性を損なう要因となる問題の解消を目的として,多様な国語教育的評価項目に沿って文章作成技術の形成的評価を自動的に行う,幾つかの手法を提案する.人手による評価を,文字,語用,文体,係り受け,文章構造などさまざまなレベルの言語的要素をカバーする国語教育的評価項目に基づいてモデル化する.自然言語処理技術を用いて,文章中の国語教育的評価項目に関する言語的要素に関する特徴量を自動的に抽出する.さらに,機械学習的手法を用いて,既存の評価結果と各種特徴量の組から,評価モデルを学習する.

 さらに,幅広い学習状況(学年)の学習者による文章を評価対象として,それぞれに特化した評価手法を提案し,有用性を示す.

 
 
 
 (2013年6月19日受付)
取得年月日:2012年12月
学位種別:博士(情報学)
大学:横浜国立大学



推薦文
:(自然言語処理研究会)


本稿では,国語科教育で扱われる作文の良悪基準に沿って,学習途上者による文章を解析し,機械学習により総合評価する手法について述べている.幅広い学習水準の学習者の文章を対象に,評価モデルの顕在化,注釈コメントの提示など,評価の内訳を示した評価の手法の構築に取り組んでいる.言語処理技術の教育応用として,新規性が高い研究である.


著者からの一言


自動化により学習効率の向上や教育実践者の負担軽減につながる要素とそうでない要素の両者が存在するが,これを見きわめて,次代の国語教育の発展に資する研究成果を残していきたい.目下,初等教育での作文学習に役立つ作文支援ツールや,教師の作文指導の指針決定の参考となるコーパスの整備を進めているが,これらの成果を持続的に発表する.