会誌「情報処理」Vol.61 No.11 (Nov. 2020)「デジタルプラクティスコーナー」

バーチャルリアリティでスポーツ脳を理解し鍛える

木村 聡貴1

1日本電信電話(株) 

スポーツで高いパフォーマンスを発揮するためには,頑健な身体を備えるだけでなく,状況の適切な判断や予測,巧みな運動調節などを実現する高度な脳情報処理機能が不可欠である.しかし,身体的側面の知見やトレーニング手法などについては多くの蓄積がある一方で,脳機能に関する側面は未開発である.筆者の研究グループでは,先進的な情報通信技術を活用して,スポーツパフォーマンスを支える脳機能を解明し向上させる取組みを進めている.本稿では,テニスや野球・ソフトボール用のバーチャルリアリティシステムを用いて,そうした取組みに利用している事例を紹介する.

1.スポーツと脳科学

スポーツはよく“心・技・体”と言われる.高いパフォーマンスを発揮するためには,強い筋力や心肺機能などの頑健な身体を備えることはもちろん重要であるが,レベルが高くなるほど,これだけでは不十分である.的確に状況を判断し予測する能力,自分の身体や外界の状態を正確に認識する能力,何をすべきか臨機応変に意思決定する能力,巧みに運動を調節する能力,そしてプレッシャーに晒されながら安定した実力を発揮できる能力,こうした技や心にかかわる能力が勝敗を分ける.そして,これらは高度な脳の情報処理に支えられている.しかしながら,これまでのスポーツ科学では,身体的な側面に関する知見やトレーニング方法については多くの蓄積がある一方で,脳情報処理の仕組みやそれに基づく強化手法については未開発である.このような背景を踏まえ,筆者の研究グループでは,スポーツパフォーマンスを支える脳機能を解明し向上させることを目指したプロジェクトを進めている[1].

ただし,脳機能の解明や向上といっても,脳の活動そのものを計測したり脳を刺激するわけでは必ずしもない.むしろそうではなく,脳の働きの結果として表出される行動や生体情報から脳の働きを読み解いたり,感覚情報操作や行動介入で脳の変化(可塑性)を促そうというアプローチが主体である.こうしたアプローチでも十分に脳の仕組みに迫れる部分があり,さまざまな環境や状況で幅広くスポーツを扱えるメリットも大きいからである.そこで鍵になるのは,行動神経科学的な手法と情報通信技術(ICT)の融合である.たとえば,試合を妨げないように運動や生体データを計測するには,ウェアラブルセンサや映像解析などのセンシング技術が重要になるし,効果的なフィードバックやトレーニングを実現するには,機械学習などの情報処理や工学的な実装のノウハウなどが必要となる.こうした先進のICTを活用しながら,心理物理計測で脳機能に迫ったり,人間の知覚特性に則したフィードバック手法をデザインすることが肝になってくる.筆者の研究グループでは,そのような取組みの1つとして,バーチャルリアリティ(VR)を活用している.

2.バーチャルリアリティをスポーツ研究に活用するメリット

スポーツパフォーマンスを計測する環境は大きく2つある.1つは,いわゆる実験室計測である.条件を適切に統制しながら計測できる一方で,実際のスポーツ文脈から乖離しがちであり,パフォーマンスの限られた側面しか捉えられない問題がある.もう1つは,実戦フィールドでの計測である.近年,ウェアラブルセンサやコンピュータビジョンなどのセンシング技術の進展により,リアルなパフォーマンスを計測できるようになってきた[2].しかしながら,リアルな状況は多様な要因が複雑に絡み合っており,パフォーマンスとの因果関係を読み解くのは容易ではない.このように,実験室計測と実戦計測には,条件統制とリアリティのトレードオフが存在する.

このトレードオフを補う手段として,筆者の研究グループはバーチャルリアリティ(VR)に着目している.VRは,ユーザに臨場感のある視覚体験を提供し,コンピュータグラフィクス(CG)と組合せることで,所望の視覚空間を構築することができる.さらに,実環境では物理的あるいは倫理的に困難な計測条件を意図的に設定することも可能である[3].このように,リアリティを確保しながら柔軟に視覚条件を統制できる点は,VRをスポーツ研究に適用する大きなメリットになり得ると思われる.

次章からは,スポーツパフォーマンスにかかわる認知運動機能の評価や強化にVRを利用している事例を紹介する.

3.テニスサービスVRを用いた認知運動機能の評価

テニスのレシーバは,サービスからおおむね1秒以内という厳しい時間制約の中で,打球に対応し打ち返さなければならない.したがって,サービスの球種やコースを適切に予測し[4],タイミングよく反応(リターン)することが重要となる.筆者の研究グループでは,このリターンスキルの背景にある認知運動機能,特にサーバの動きからサービス球種を予測する機能と,球種に合わせて運動を調節する機能を切り分けて評価することを目的に,テニスサービスを体感できるVRシステムを開発した[5].

3.1 テニスサービスVRシステムの構成

筆者のテニスサービスVRシステムでは,ユーザは市販のヘッドマウントディスプレイ(HMD:VIVE,HTC)を装着し,レシーバ目線でリアリティのあるサービスシーンを体験できる(6DoF,フレームレート:90fps,視野角:110deg).仮想環境はゲームエンジンのUnityを用いてCGで構築し,主にテニスコート,サービス時のサーバの動き,ボールの挙動を実装している.

サーバの動きとして,慣性センサ式モーションキャプチャスーツ(MVN,Xsens)を用いて,熟練者(元スリランカ代表選手)の動作をあらかじめ計測した(サンプリングレート:240Hz).また同時に,サーバの後方に2台の市販カメラを設置し,サービス打球を同期撮影した.後日,得られた画像データから,画像処理ライブラリOpenCVを用いてボール挙動を検出し,逆透視投影変換行列によってボール軌道を3次元再構成した.サーバは,フラット,スピン,キック,スライスそれぞれの球種を数球ずつ打ち,その内コースが近しい1球ずつを投影する打球として採用した.また,その時のサーバの動作を,アバターとして表現した.図1に,バーチャル空間に実装されているサービス軌道とアバターの動きの例を示す.

テニスVRで体験できるサービス軌道(左)とサーバの動きの例(右)
図1 テニスVRで体験できるサービス軌道(左)とサーバの動きの例(右)

3.2 評価実験

このようなVRシステムを用いて,レシーバの認知運動機能を評価するための運動実験と認知実験を行った(図2).実験には18名の健常大学生が参加した.認知運動機能を比較するために,参加者はNational Tennis Rating Programを元に,上級者(スコアが5.0以上)4人,中級者(2.5以上5.0未満)6人,初心者8人(2.5未満)の3グループに分けた.

運動実験(左)と認知実験(右)の様子
図2 運動実験(左)と認知実験(右)の様子

運動実験では,参加者は実際のラケットを手に持ち,バーチャル空間のサービスボールに合わせてスイングすることを課された.ラケットのグリップエンドにHMD付属のトラッカを取り付け,6DoFのラケットの動きをバーチャル空間のラケットに反映させた.また,市販キットを用いてHMDを無線化し,参加者はある範囲を自由に動けるようにした.参加者には既述のモーションキャプチャスーツを着用してもらい,スイング時の動作を計測した(サンプリングレート:240Hz).

認知実験では,参加者はサービスされた球種を判断することを求められた.参加者は,着座して回答用のボタン(PS4コントローラ)を持ち,リターン位置周辺視点のサービス映像を見ながら,球種が分かった時点でなるべく早く指定のボタンを押すように指示された.その際のボタン回答の成否と時刻を計測した(サンプリングレート:2000Hz).

両実験とも,提示されるサービス球種としてフラット(速い)サービスとスピン(遅い)サービスの2種類を用いた.そして,各球種に対応するサーバ動作とボール挙動の組合せを操作した2条件(マッチ条件とミスマッチ条件)を設定した.マッチ条件では,通常のサーバ動作とボール挙動の組合せを用いた.たとえば,フラットサービスのサーバ動作とフラットサービスのボール挙動の組合せが提示された.一方,ミスマッチ条件では,サーバ動作とボール挙動を入れ替えた組合せを提示した.たとえば,フラットサービス動作とスピンボール挙動の組合せが提示された.それそれの条件で,2球種が疑似ランラムに20球提示され,マッチ条件→ミスマッチ条件の順番で合計40試行を行った.なお,参加者にはフラットとスピンの2球種があることのみ事前に伝え,マッチ/ミスマッチ条件があることは教示しなかった.また,課題に慣れるために,本実験の前にマッチ条件で10試行程度の練習を行った.

3.3 結果と考察

図3に,運動実験から得られた利き手(ラケット使用手)の前後方向速度のグループ平均値を示す.テイクバック時には負の速度ピークが現れ(上図の波形例),この時刻が球種によって変化する.たとえば,上級者の結果をみると,通常のフラット(速い)サービス(F)に比べて,スピン(遅い)サービス(S)では,ピーク時刻が遅れている.これは,球速に合わせて,テイクバックのタイミングを調節しているためと考えられる.

運動実験で得られた利き手速度のグループ平均波形
図3 運動実験で得られた利き手速度のグループ平均波形

興味深いのは,上級者では,このピーク時刻が,ミスマッチ条件とマッチ条件で(つまり実線と破線とで)変化していることである.たとえば,マッチ条件のフラットサービス(F)に比べて,ミスマッチ条件のフラットサービス(F’,つまりスピン動作からフラットボールが放たれる)では,ピーク時刻が遅くなる.逆に,マッチ条件のスピンサービス(S)に比べて,ミスマッチ条件のスピンサービス(S’)では,ピークが早まる.こうした挙動は,一貫してサーバの動作に依存している.すなわち,上級者では,フラット動作から放たれたボール条件ではピークが早く,スピン動作の条件ではピークが遅くなっている.一方で,こうしたサーバ動作に依存したピーク時刻のシフトは,中級者や初心者ではほとんど見られない.これらの結果から,上級者は,サーバの動きで球種を予測しリターンのタイミングを計っているが,中級者・初心者では,それができていないと考えられる.

次に,認知実験から得られた球種判断の時間と判断精度の結果を図4に示す.ここで,判断時間(図4左)はサーバの動作開始時刻を0としており,およそ0.8秒あたりでサービスが起こっている(緑点線).上・中級者の判断時間を見ると,前半のマッチ条件ではサービス時刻辺りで反応しているが,ミスマッチ条件に切り替わった直後,急激に反応時間が遅くなっている.この条件切り替えに合わせて,正答率(図4右)も低下していることが分かる.一方で,初心者では,元々サービスより後で反応しており,条件が切り替わってもあまり変化がない.また,正答率も100%を保持し続けている.これらのことから,1)上・中級者はサーバの動作で球種を予測しているが,初心者はボールを見て反応している,ただし,2)サーバ動作とボール挙動の関係がミスマッチになった後は,上・中級者級もボールを見て判断せざるを得なくなった,と考えられる.

認知実験で得られた判断時間と正答率のグループ平均
図4 認知実験で得られた判断時間と正答率のグループ平均

以上のことから示唆される認知(予測)と運動の機能と熟練度との関係を整理すると(図5),

  • 初心者はサーバの動きから球種予測ができない
  • 中級者は球種予測はできるが,運動調節に活かせない
  • 上級者は両方の機能を備えている

という階層構造で解釈できる.

実験結果から示唆される認知運動機能と熟練度
図5 実験結果から示唆される認知運動機能と熟練度

重要なポイントの1つは球種の予測であるが,図6のように,球種の違いによってトスアップ時のサーバの姿勢やボール位置などに違いがあり,これらを見分けられるかが肝になっていそうである.実際に,実験後に行ったインタビューで,上・中級者はマッチ/ミスマッチ条件の切り替えについて何らかの違和感などを感じたと報告していた.もう1つの重要なポイントは,認知機能と運動機能の階層性である.“球種は分かっているけれどできない”のか,“そもそも分からない”かは,“できない”ことだけからは判別できない.これを見極めるには,想定される脳情報処理の流れに応じた適切な計測設定が必要となる.とくに,マッチ/ミスマッチ条件は,実環境では実現不可能であり(実世界で動作とその結果であるボール挙動は物理的に不可分なので),このような使い方はVRならではの強みであると思われる.

フラットサーブ(濃い)とスピンサーブ(薄い)の動きの違い
図6 フラットサーブ(濃い)とスピンサーブ(薄い)の動きの違い

4.野球・ソフトボールVRの活用事例

筆者の研究グループでは,テニス以外に,野球やソフトボールの投球を体験できるVRシステムを開発している.リアリティや再現性などVRの特徴を利用した適用事例について簡単に紹介する.

4.1 野球VRを用いたイメージトレーニング

野球VRでは,テニスと同様に,打者は相手(投手)の動きや投球を確認できる[6].ただし,投手の動きは,CGではなく,実写映像を用いて実装している(図7左).その理由は,混み入った動作計測が不要となるため,さまざまな投手を対象としやすくなるからである.また,CGでは困難な表情や細かな動きを可視化できる利点もある.そこで,本システムでは,フィールド外から撮影した映像を,3次元空間で打者方向に配置したビルボードと呼ばれる仮想的な2次元パネル上で再生するようにしている.野球の場合,投手や打者の奥行き方向の位置はあまり変化しないため,投手の動作は2次元での表現に向いている.

野球ピッチングVRの画面(左)とプロ野球選手の利用の様子(右)([8]より引用)
図7 野球ピッチングVRの画面(左)とプロ野球選手の利用の様子(右)([8]より引用)

一方で,ボールの挙動は,奥行き方向の変化が大きいため,ビルボード表現には適さない.したがって,テニスVRと同じく,CGで表現した.しかし,ここで大きな課題が1つある.実写映像に含まれるボールとの二重提示である.そこで,ボール領域をペインティングすることで,二重提示を回避する工夫を取り入れている[7].

本システムは,新たなイメージトレーニングとして活用することを想定している.日本野球機構に所属するプロ野球チームと共同で,本システムの有用性などについて検証を行ったところ[8],

  • ビデオ映像と異なり,ボールの奥行き感を感じられる
  • 投手の動きに合わせてタイミングを計りやすい
  • さまざまな球種に対して待ち方などをシミュレートできる

といった好意的な意見が得られている.実際に試合前に利用している選手もおり(図7右),まさにイメージトレーニングツールとして使われはじめている.

現在,本システムは,打者の動きをセンシングできるように改良が加えられている[9].また,これを実現するため,仮想空間と実空間との時空間的キャリブレーションを簡便に行えるようにしている[10].このように,体験者の運動を収集し分析・評価可能なシステムとすることで,単に事前のリハーサルにとどまらず,実際の動作の改善にもつながるであろう.また,継続的に使うことで,投手の癖の把握や自身の運動イメージの改善といった認知機能の強化にもつながると期待される.

4.2 ソフトボールVRを用いた審判スキルの評価

ソフトボールVRのシステム構成は,野球VRとほぼ同じである.よって,ソフトボール打者が投球体験するために利用可能だが,ここでは審判のコース判定のために利用している例を紹介する.

審判は,ストライク・ボールを正確に判定し,かつその判定が安定していることが求められる.本VRシステムは,任意の球種・コースのボールを繰り返し生成できるため,そうした審判のスキルを評価するには,格好のツールとなり得る.そこで筆者の研究グループは,日本ソフトボール協会と共同して,審判の技術講習に本システムを導入した[11].図8は,講習時に審判が見るVR画面(ただし,ストライクゾーン表す紫色の五角柱は実際には表示しない)と,テストの様子である.折しも2018年にストライクゾーンの改変があったため,本システムを用いて審判らは新ストライクゾーンでのボールの見え方を確認した.さらに,いくつかの際どいコースの投球を数試行ずつ組合せた判定テストを実施し,判定の難易度(正確性)や安定性などの評価を行った.その結果,コースや打者の左右によってそれらの成績が異なっていたり,個人差があることがみとめられた.

ソフトボールVRの画面(左)と審判の判定テストの様子(右)
図8 ソフトボールVRの画面(左)と審判の判定テストの様子(右)

このように得られた結果は,認知機能の個人性(判断の癖や得手・不得手など)を理解することにつながり,対策やトレーニングに貴重なヒントとなり得る.今後こうした取組みを継続的に続けてゆくことで,審判のレベルの評価や向上にも役立つであろう.

5.まとめと今後の展望

本稿では,VRを用いてスポーツパフォーマンスに関する脳機能を評価したり向上させることを目指した取組みを紹介した.VRが有するリアリティや自由度などの特徴を活かすことで,これまでにない切り口でアスリートの脳機能に迫れたり,新しい脳トレーニング法として活用できる可能性が見えてきている.

しかし,取組みは始まったばかりであり,テニスVRをひとつ例にとっても,さまざまな課題や興味が残っている.たとえば,本システムには実際にサービスを打ち返す仕様(ボールとラケットのインタラクション)が実装できていない.ボールをラリーすることがテニスの本質であるとするなら,真のスキルを捉えるためにはきわめて重要な課題と思われる.また,さまざまなセンシングを組合せて,より多角的に脳の機能を評価することも興味深い.たとえば,眼球運動(視線)や筋活動などのデータが取得できれば,注意力や力み/リラックスなどの評価につなげられる可能性がある.さらには,仮に予測機能が不十分と評価されたときにどうするか.ユーザ目線で考えれば,評価するだけでなく,機能向上を促す仕組みも備わっていることが望ましい.たとえばサーバの動きに注意が向いてないようであれば,そこに注意を促すような介入を取り入れたいところである.

近年,スポーツパフォーマンスの評価や支援のためにVRを活用する試みは増えてきている[12],[13].しかしながら,多くは実験室的な運用に留まっていたり,競技が限られていたり(持久系競技が多い),まだまだ発展途上である.筆者の研究グループでは,さまざまなアスリートの協力を得ながら研究を進めており,今後も現場のニーズや問題意識を汲みとり,貴重なフィードバックを得ながら,アスリートにとって有用な脳機能評価・強化ツールとしてVR技術を磨いてゆきたい.

最後に,本稿の執筆にあたり,共同研究者の慶應義塾大学杉本麻樹氏,正井克俊氏(現 日本電信電話(株)),斎藤慶氏(現 日産自動車(株)),ならびに日本電信電話(株)山口真澄氏,三上弾氏に謝意を表する.

参考文献
  • 1)NTTコミュニケーション科学基礎研究所スポーツ脳科学プロジェクト:http://sports-brain.ilab.ntt.co.jp/index.html
  • 2)相原伸平,杉山恵玲奈,澤田みのり,松本 実,伊藤浩志:競技スポーツの実践現場におけるICT活用,電子情報通信学会 通信ソサイエティマガジン, No.46, pp.98-104 (2018).
  • 3)木村聡貴,高橋康輔,三上 弾,柏野牧夫:スポーツ選手の脳情報処理過程を解明するバーチャルリアリティ技術,NTT技術ジャーナル,Vol.28, No.5, pp.26-29 (2016).
  • 4)Shangguan, R. and Che, Y. : The Difference in Perceptual Anticipation Between Professional Tennis Athletes and Second-Grade Athletes Before Batting, Frontiers in Psychology, Vol.9, 1541 (2018).
  • 5)斎藤 慶,正井克俊,木村聡貴,杉本麻樹:バーチャル環境を用いたテニスサービス対応熟練度に関する認知運動分析,日本機械学会 シンポジウム:スポーツ工学・ヒューマンダイナミクス 2019 講演論文集, C-16 (2019).
  • 6)三上 弾,高橋康輔,西條直樹,五十川麻理子,木村聡貴,木全英明:VRイメージトレーニングシステムの実現と野球への適用,NTT技術ジャーナル,Vol.28, No.1, pp.22-25 (2018).
  • 7)Isogawa, M., Mikami,D., Takahashi, K. and Kojima, A. : Image and Video Completion Via Feature Reduction and Compensation, Multimedia Tools and Applications, Vol.76, No.7, pp.9443-9462 (2017).
  • 8)(株)NTTデータ:世界初,プロ野球球団が監修したVR[バーチャルリアリティー]技術による選手のトレーニングシステムを提供開始,
    https://www.nttdata.com/jp/ja/news/release/2016/090500/ (2016年9月5日付プレスリリース)
  • 9)Takahashi, K., Mikami, D., Isogawa, M., Kusachi, Y. and Saijo, N. : VR-based Batter Training System with Motion Sensing and Performance Visualization, IEEE Conference on Virtual Reality and 3D User Interfaces, pp.1353-1354 (2019).
  • 10)Takahashi, K., Mikami, D., Isogawa, M., Sun, S. and Kusachi, Y. : Easy Extrinsic Calibration of VR System and Multi-Camera Based Marker-less Motion Capture System, IEEE International Symposium on Mixed and Augmented Reality Adjunct, pp.83-88 (2019).
  • 11)Yamaguchi, M., Kimura, T. and Mikami, D. : Application of VR System to Test Ball-Strike Judgemens of Softball Unpires, in Abstract of 2020 The Yokohama Sports Conference (2020).
  • 12)Michalski, S.C., Szpak, A. and Loetscher, T. : Using Virtual Environments to Improve Real-World Motor Skills in Sports: A Systematic Review, Frontiers in Psychology, Vol.10, 2159 (2019).
  • 13)Neumann, D. L., Moffitt, R. L., Thomas, P. R., Loveday, K., Watling, D. P., Lombard, C. L., Antonova, S. and Tremeer, M. A. : A Systematic Review of the Application of Interactive Virtual Reality to Sport, Virtual Reality, Vol.22, pp.183-198 (2018).
木村 聡貴(非会員)toshitaka.kimura.kd@hco.ntt.co.jp

日本電信電話(株)コミュニケーション科学基礎研究所,主任研究員.2003年東京大学大学院総合文化研究科博士課程修了.博士(学術).人間の感覚運動制御,近年はスポーツスキルの脳情報処理の研究に従事.

採録決定:2020年8月21日
編集担当:飯村 結香子(NTTソフトウェアイノベーションセンタ)