近年,VR(仮想現実)機器の普及が進んでおり,教育の効率性向上や,教師の負担削減のためにVRコンテンツを利用することが検討されている.VR機器を利用することで,その没入感から,学習者が集中して学習可能であることが期待される.たとえば,参考文献[1]では,VR空間上で,文化遺産の教育を行った際の,効果などを研究している.また,参考文献[2]では,小学校の体育教育にVRを導入することで,生徒の運動時のバランス能力の向上などに効果があることを,調査している.さらに,参考文献[3]では,Affine変換について3次元空間で学習する環境を,デスクトップ上とVR空間上で作成し,その比較を行っている.直接的には,明確な学習効率の差などは,現れていないが,被験者はVR環境のほうをより好むという結果が示されている.それゆえに,VR環境のほうが学習の質が高い可能性があると結論付けている.
一方で,学習者がいわゆるVR酔い等の状態になり,学習を継続できないなどの状況になる恐れも存在する.VR酔いについての研究としては,参考文献[4], [5]などが,存在する.[4]では,大画面没入型バーチャル環境を用いて,VR酔いの原因などの調査を行っている.
英語学習では,シャドーイングが効率的な外国語学習方法の1つとして,考えられている[6].ここで,シャドーイングとは,“耳に入ってきた外国語の音声を学習者が同時または少し遅れてそのままくり返して発音していく練習方法”のことをいう[7].
参考文献[8]では,ウェブ上でのシャドーイング練習を継続して行うことで,学習者の英語能力が向上することが報告されている.また,参考文献[9]では,日本語を学習する外国人学習者に対して,シャドーイング学習を行う学習者のクラスと他の学習を行う対照クラスの2つのクラスを比較している.8週間の継続学習を行った後の比較で,シャドーイング学習を行うクラスのほうが,日本語テストの結果が良いことが示されている.
このように,日本人に対する英語教育に限らず,一般的に,シャドーイングは語学学習に対して効果的であると考えられている.
前述の例などで見るように,通常,シャドーイングは,音声を聴くという聴覚からの情報のみから復唱することを指しており,利用する教材としては,CD等の音声データが想定されている.しかし,参考文献[10], [11]のように,教材として映画を用いて,学習者に聴覚面での情報のみならず,視覚面の情報を同時に与えたうえで,シャドーイングを行う取り組みも行われている.参考文献[10]では,学生の学習意欲を高めるためにも,音声のみで行うシャドーイングではなく,映画等の視聴覚教材を用いたシャドーイングが効果的であると述べている.実際に,週1回90分の授業13回で,英語映画シャドーイング教育を行い,実施前と実施後のSLEPテストの平均点数をt検定にかけて,有意であるという結果を出している.
本研究では,VR空間上で,シャドーイングを行うことについて考慮する.VR上でシャドーイングを行う環境が普及すれば,学習者にとって,有用な学習環境の選択肢が増すこととなると考える.そのために,以下のような目的を以て研究を行う.
本研究では,英語シャドーイング学習用のVRシステムを開発し,主観評価に基づく被験者実験を行い,その学習の継続性,学習中の集中力の変化,および普及可能性を調査することを目的とする.英語シャドーイングの方法としては,英語映画をVR空間で視聴して,シャドーイングを行うこととする.その内容としては,1人の被験者あたり,1日で2本の映画をシャドーイングする被験者実験を行う.今回の研究のように,合計で3時間半を超える映画を視聴するといった,長時間連続したVR学習を調査した例は少なく,その意味でも本稿の価値があると考える.
本研究で利用する英語シャドーイング学習用のVRシステムは,VR機器として株式会社FoveのFove 0*1を利用して作成した.Fove 0は2560×1440の解像度,フレームレート70 FPS,視野角100度,重量520 gといった性能を持つヘッドマウントディスプレイ型VR装置である.ソフトウェアとしては,Windows 10上に,3DゲームエンジンであるUnity*2とVisual Studioを利用して,VRコンテンツを作成した.
英語シャドーイングに利用する映画としては,「カサブランカ*3」および「シェーン*4」を利用した.双方とも著作権の切れたパブリックドメインの映画であり,株式会社ブレーントラスト*5より,使用権を取得して利用した.なお,元のデータでは,双方の映画間で,音量が大きく異なっていたため,正規化し,音量を同程度として利用した.
図1,図2に作成した英語映画シャドーイング学習用のVR空間の様子を表す.図では,平面で表現しているが,実際にVR機器を装着した場合,奥行きのある3D空間となる.映画再生時には,字幕を表示せず,シャドーイングを行うようにした.それだけでは,シャドーイングの難しさや映画への興味の有無から,被験者の学習意欲が持続しない可能性があったため,日本語でのあらすじを書面で用意して,映画再生前や休憩時に自由に見ても良いこととした.
VR空間上で,操作する際は,ゲーム用のコントローラを用いて行うこととし,被験者が途中でVR機器を着脱する必要がないようにした.図中で“コントローラのR2キーとL2キーを同時に押すと,現在の向きが修正されます”とあるのは,Fove0の着脱を行った際などに,位置関係がずれることがあるためであり,その際に位置関係の初期化を行うための操作である.また,VR空間上での視点の水平方向の回転については,VR機器装着者が,頭部を左右に回転させることで行うこととして,コントローラでは操作を行わないようになっている.
実験の被験者については,人材派遣会社に依頼して募集を行った.その際に,日常生活で眼鏡等を着用せずとも問題ない者またはコンタクトの着用をしている者を優先して募集を行った.これは,Fove0は,装着した際に身体との隙間が少なく,眼鏡を着用したままの利用が難しいVR機器のためである.また,学習者の英語習熟度との関連性を調査するために,TOEIC等の英語資格を持つ者を優先した.具体的には,人材派遣会社がVR空間でのシャドーイングを行う実験を行う旨を周知して,その募集に応じた者のうち,日程の合う者の中から,英語資格を持つ者を優先した.さらに絶対的な条件として,「20歳以上の者」という条件を付けて,それ以外は無作為に被験者を募集した.20歳から39歳の,男性13名,女性21名の合計で34人の被験者が集まった.図3に,年齢,性別の内訳を示す.
なお,実験の計画時には,地方独立行政法人東京都立産業技術研究センター内での,人間工学分科会での事業倫理審査委員会において,実験内容について申請を行い,承認を得てから実験を行った.被験者に対しても,実験前に,実験内容や注意事項等について説明を行い,実験についての同意書を得てから実験を行った.
各被験者に,2本の映画について,VR英語シャドーイングを行わせ,アンケートへの回答を行わせた.映画を再生する前に,被験者ごとにFove0の視線調整のためのキャリブレーションを行い,その後に図1のような画面を出し,被験者が見やすいように,映像を映し出すスクリーンとの距離およびスクリーンの高さ,音量等の調節を行わせた.シャドーイング中は,約5分ごとに,映画が中断し,図2の画面が出現する.自己診断で,現在の集中力を0から10の11段階で,入力させるようにした.ここでは,0が集中力が全くない状態で,10が最も集中している状態とした.正確に5分ごとではなく,約5分としている理由は,俳優が喋っている間などに中断しないようにするためであり,基本的には,場面が変わる際に,中断するようにしている.この映画中断中には,自由に休憩を取って良いこととした.
また,アンケート調査を行い,映画終了時の楽しさや難しさ,疲労度等を記入させた.実験にあたっては,感染症対策のため,マスクを着用したままシャドーイングを行わせた.また,通常はPCに接続したモニタから映画の音声が流れるが,希望者にはイヤホンを装着して,そこから音声を聴けるようにした.
実験前には,次のような説明を行った.
被験者あたり1日約7時間の実験として,おおむね以下のようなスケジュールで実験を行った.多くの映画は90分から120分ほどの長時間であり,1本の映画を連続して視聴することが多いであろうことに鑑みて,1本の映画視聴を1つの区切りとしている.また,社会的に学校や仕事などに従事する時間が6~8時間であることが多い事象に合わせて,全体を通して,約7時間の長時間の実験とした.
アンケート内容として,
などを,被験者に回答させた.
実際に,実験を行っている際の被験者の様子を図4に示す.
計34名の被験者で実験を行ったが,1名だけ,1本目の映画の途中で,VR酔いが発生して,それ以上実験を続行することが不可能となった.そのため,以降では,アンケート結果における,映画1の楽しさや難しさ等の評価を用いる際には,最初からデータとして除外している.なお,図5や図6における,TOEICスコアやVR等の経験を利用する際には,データとして用いている.
アンケートから得られた被験者のTOEICスコアを図5に示す.TOEICスコアを持つ者は,21人であり,全員500点以上であった.図では,横軸で100点ごとに階級を分けて,縦軸には頻度(人数)を取っている.本実験でのTOEICスコアを持つ被験者の平均スコアは,730.4点,標本標準偏差は128.2であった.日本におけるTOEICスコアの平均は,580点から620点程といわれており,たとえば,一般財団法人国際ビジネスコミュニケーション協会が2022年現在公開している過去3年間の平均スコアは,2019年度588点,2020年度620点,2021年度611点である*6.ここで,TOEICスコアの平均点が620点であると仮定して,
として,有意水準5%で,片側t検定を行うと,p値は,0.0004となり,帰無仮説H0が棄却される.このため,本実験のTOEICスコアを持つ被験者は,一般的なTOEICテスト受験者よりも,英語能力に優れている者が集まったといえる.
図6は,被験者のシャドーイング経験,VR経験,映画カサブランカ視聴経験,映画シェーン視聴経験の有無を示した棒グラフである.ここで“映画1”は映画カサブランカを,“映画2”は映画シェーンを指す(以下,同様に記述する).被験者中では,シャドーイング経験を有する者が多い.これは,前段落で言及したように,本実験では,英語能力に優れている者が集まっているため,英語能力を高める過程などでシャドーイングに触れる機会がある者が多いからではないかと推測する.
また,VR経験者が少なく,VRの一般への普及が進んでいないことが見てとれる.映画の視聴経験については,2本の映画とも,著作権の切れたパブリックドメインの映画であり,古いためか,視聴経験が有る者は少なかった.
図7に,各映画のシャドーイングによる疲労度の蓄積を示した.ここで,シャドーイングによる疲労の増加を,\[\begin{split} & (シャドーイング前後の蓄積疲労度) \\ &= (シャドーイング後の疲労度) \\ &- (シャドーイング前の疲労度)\end{split}\](1)
として,シャドーイング前後の疲労度の差で表している.
基本的には,シャドーイングにより,疲労度が増加している傾向が見てとれる.しかしながら,注目に値すべき点として,映画2においては,疲労度が減少する者も存在する.このため,必ずしも,長時間のVR英語シャドーイング学習が,大きな疲労を伴う学習ではないといえる.
図8は,各映画ごとに,シャドーイングの楽しさと難しさと“再度VR英語シャドーイングを行いたいか”を,アンケートで評価した値を棒グラフにした図である.
映画1と映画2に対する違いを評価するために,シャドーイング時の蓄積疲労度,楽しさ,難しさの各々の平均値について,有意水準5%でWelchの片側t検定を行った結果が表1である.3つの検定結果すべてにおいて,帰無仮説H0を棄却しており,映画2のほうが,蓄積疲労度が低く,楽しく,映画1のほうが難しいと言うことができる.これは,映画カサブランカは白黒映画であるとともに,内容も対話が中心であるため,内容の理解が難しいとともにシャドーイングを行う必要のある語数も多い(文字数にして約128,000文字)ことが,理由の1つであると考えられる.それに対して,映画シェーンは,カラー映画で古いとはいえ当時は映像美を1つの売りにした作品であり,内容についも,西部劇であるためアクションが含まれ,語数が少ない(文字数にして約95,000文字)とともに,内容が理解しやすい.
さらに,シャドーイングの順番として,映画シェーンのほうを後にしたため,シャドーイング・VR双方に慣れたことによる影響の可能性がある.また,アンケート結果の自由書き込み欄では,映画カサブランカの主演俳優(ハンフリー・ボガート)の声が聞きにくいとの回答がいくつかあり,それも要因の1つであると考えられる.
VR酔いについて,本実験では,34名中で途中離脱して復帰できない者は1名であり,その他にアンケート結果の自由書き込み欄で,酔いを感じたと記述した者1名と,事前に予測していたよりも少なった.なお,途中離脱した者は,VRゲーム経験があり,普段は,動きの激しいVRゲーム等を利用していた.逆に,本実験における,映画を見るといった,動きの少ないVRを長時間視聴することは厳しく感じたということであった.
“VRのおかげで集中ができた”旨を,アンケートの自由書き込み欄に記述した者は計7名であった“手やスマホが入らないので集中できた”や“VRだと周りの物に意識を奪われることがない”などの意見があった.対して,“VRには意味がないのでは?”と疑問を呈した意見が1名から出た.
一方で,VR機器の重さや装着時の圧迫感を指摘した意見は,6人から出た.また,マスクとVR機器を同時に装着することによって,息苦しさや画面が曇ることを問題として記述したものが2名であった.
最後に,女性の視点から,“髪の毛や化粧も崩れるため,マイナスな点が多く,日常的に使うには不向きだと感じた”と記述する者が1名存在した.
各被験者に対して,それぞれの映画について,入力した集中力の数値を平均化して,ヒストグラムにした図を図9に示す.横軸が,各被験者の平均集中力で,縦軸は頻度である.図中と以降の集中力に関する議論では,途中離脱したもの1名と,システムの不具合により得られたデータが適当でないと判断した1名を除いて,合計32名でのデータを取り扱っている.
ここで,
として,有意水準5%で,でWelchの両側t検定を行うと,p値は,0.8345となり,帰無仮説H0が棄却できない.このため,映画1と映画2で被験者の平均の集中力が異なっているとはいえない.
さらに,図10に,映画ごとに,各集中力入力時点で,全被験者が入力した集中力を平均した値を折れ線グラフに示した.横軸は約5分ごとの集中力入力時点を経過時間順に並べている.図では,映画ごとに,同じように並べているが,実際には,場面の切り変わり時などに約5分ごとに入力しているため,全く同じ経過時間ではないことに注意する必要がある.映画2のほうが時間が長いため,それに対応して,横軸も長くなっている.縦軸は,各時点での,全被験者の集中力の平均である.
さらに,実験結果に対して相関係数を用いて評価を行う.図11は,各項目のペアに対する,相関係数を求めた相関行列である.
図11から,VR英語シャドーイングの楽しさに対して,難しさはほぼ相関がなく,疲労の増加に弱い負の相関があることなどが見て取れる.図では,映画1と映画2で分かれているため,合計して,\[\begin{split} & (楽しさ合計) = (映画1楽しさ) + (映画2楽しさ),\\ & (難しさ合計) = (映画1難しさ) + (映画2難しさ) , \\ & (蓄積疲労度合計) \\ &= (映画1蓄積疲労度) + (映画2蓄積疲労度) , \\ & (集中力合計) \\ &= (映画1平均集中力) + (映画2 平均集中力)\end{split}\](2)
として,“再度VR英語シャドーイングを行いたいか”との相関係数を計算すると,順に,0.64,−0.28,0.058,0.63となった.このことから,“再度VR英語シャドーイングを行いたいか”に対しては,楽しさと平均集中力が正の相関があり,難しさは弱い負の相関があり,疲労の増加は相関がほぼないといえる.
年齢,性別については,他の項目に対して,ほぼ相関関係がなかった.一般的には,VRといった比較的新しい物には,年齢の若い者のほうが適していると思われるが,そのことが表れていないのは意外であった.しかしながら,被験者の年齢分布が狭いことなどに起因する可能性があり,断定するためには,より詳細な調査を必要とする.また,意外なことに,TOEICのスコアと難しさについては,ほぼ相関がなかった.
一般的に,学習の楽しさは,学習の継続性に対して,良い影響を与えると考えられている[12].本実験でも,同様に,4章で見たように,VR英語映画シャドーイングの楽しさと継続性を表す“再度VR英語シャドーイングを行いたいか”に正の相関がある.このことから,本実験では,全体的に正しい実験結果が得られていると考えられる.また,シャドーイング中の平均集中力とも,正の相関があることから,よく集中できた際には,継続して学習を行う動機となるようである.
一方で,シャドーイングの難しさと“再度VR英語シャドーイングを行いたいか”の間に,弱い負の相関がある.また,表1に示されるように,対象とする映画によって,楽しさと難しさを感じる度合いが有意に違っている.このため,学習の継続性を高めるためには,学習者にとって興味のある,難易度が過剰でない映画を利用することが有効であることがうかがえる.
3.2節の結果では,VRの効果として,英語シャドーイングに集中できているという,VRに肯定的な意見がいくつか得られた.しかし,同時に,VR機器の重さや圧迫感を訴える意見もあり,長時間,集中力を維持することは難しいことが伺える.図10から,時間の経過とともに,集中力が下がっていく傾向が読み取れる.個人差や慣れなどにもよるが,効果的に学習できるのは,30分から1時間程度であると推測される.ただ,集中力が切れた際でも適切な休養を取った後であれば,効果的な学習が可能であると推察される.何故ならば,3.3節の結果として,被験者全員で昼食休憩を挟み,同じ順に実験を行った映画1,映画2の間で,平均集中力が異なっているとは言えなかったためである.また,着目すべき点として,図7から,映画2においては,終了時に疲労度が減少すると主張する者が存在している.より詳細な調査等が必要であるが,長時間のVR機器を用いた効率的な学習が実現可能となる可能性がある.
VR酔いは,VR機器を利用する際の問題の1つである.本実験は長時間に渡るVR体験であり,被験者にはVR経験者も少なかったため,多くのVR酔いが発生するのではないかと,考えていたが,3.2節で見たように,実際には,ほとんど発生しなかった.これは,基本的には,映画の画面を見るために,頭部や視線が大きく動くことがなく,VR酔いを感じることが少なかったのではないかと考える.
本研究では,パブリックドメイン映画を利用して,VR英語シャドーイングシステムの開発を行った.開発したシステムを利用して,2本の映画で被験者実験を行い,アンケートと約5分感覚で集中力を入力させた.アンケート結果より,VR英語映画シャドーイングは,学習者が集中して学習を行う事に有効である可能性があるが,正しく有効性を確認するためには,さらなる調査が必要である.また,VR機器の重さや圧迫感を訴える意見があり,時間経過による集中力の低下もみられるため,長時間継続しての利用や,さらなる普及のためには,VR機器の軽量化や装着感の向上が必要であると考える.
しかしながら,現時点でも,映画2では,終了時に,蓄積疲労度が回復する被験者なども存在するため,長時間継続しての学習を苦としない者も存在するようである.
2002年京都大学工学部情報学科卒業.2004年同大学大学院情報学研究科修士課程修了.2007年同大学大学院情報学研究科博士課程単位認定退学.同年地方独立行政法人東京都立産業技術研究センター入社.機械学習や画像処理,暗号の研究に従事.ACM会員.
会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。