1．体操採点のディジタルトランスフォーメーション

国際体操連盟は，2019年8月23日に，マナグア（ニカラグア）における執行委員会会合にて，富士通が開発した採点支援システムをあん馬，つり輪，男女跳馬の4種目で正式に採用することを承認し，2019年10月にシュツットガルトで開催される世界選手権から使用を開始した[1]．この世界選手権に先立つ10月2日には，国際体操連盟と富士通との共同で採点支援システムの正式採用に関するプレス発表も実施された．これまでにニューヨーク・タイムズ，ワシントン・ポスト，ウォールストリート・ジャーナルをはじめとする国内外650以上のメディアが，本採点支援システムに関するニュースを取り上げ，スポーツにおける新たな歴史の幕開けに対して大きな期待が寄せられた．

スポーツにおけるICT活用に関する人やモノの認識技術としては，テニスやサッカー等におけるボールの接地・通過点の判定システム（ホークアイ・システム）や，サッカーやバスケットボールにおけるアスリートの2次元の動きを解析するトラッキングシステムなどが実用化されているが，アスリートの3次元の動きをマーカやセンサを装着せずに高精度に認識し，採点競技に適用した例は今回の体操競技を除いて存在しない．

男女体操競技は，スプリング構造によりはずむ床などの器具の進化や，メダル獲得のための高得点化への拍車により技が高速化・複雑化し，審判員が判定に迷うケースが増加しており，採点結果の正確性・公平性担保が国際体操連盟での長年の課題となっているものの，未解決のままであった．ここで期待されるのは，従来は「経験と勘」に頼っていた判定・強化を「客観的なデータ」に基づいて実施することであり，換言すれば，スポーツ向けにIoT （Internet of Things）／AI技術を適用することである．我々は，当該技術として着目される3Dセンシング技術の体操競技への適用と，国際機関との共創によって体操採点ノウハウを集結して技認識技術を確立し，スポーツICT市場のグローバルトッププレーヤーとしての地位確立を目指している．

2．体操採点支援への取り組み

2.1　体操採点の概要

体操競技は，陸上競技や水泳競技のように時間や距離を競う競技ではなく，演技（アスリートの動き）の複雑さを採点してその高さを競う採点競技である．男子6種目（ゆか，あん馬，つり輪，跳馬，平行棒，鉄棒），女子4種目（ゆか，跳馬，平均台，段違い平行棒）のそれぞれの演技に対して，技の難度を示すD（Difficulty）スコア，演技の出来映えを反映するE（Execution）スコア，および，演技領域からの逸脱（線審が判定）や時間超過（計時審判が判定）などによる減点の合計によって採点される[2],[3],[4]．

男子を例にとると，Dスコアは，採点規則に記載された技の難度価値点（たとえば，A難度であれば0.1，B難度は0.2というように，難度のランクが1レベル上がれば得点も0.1ずつ増加する）にしたがって演技された10技の価値点の合計に加え，高難度の技の連続実施による組合せ加点と，実施された技のグループの価値点の合計により求められる．各技は，終末技を含めて4つの技のグループに分類され，各グループに属する技の実施に0.5の加点が与えられるため，技認識の正確さはDスコアに大きな影響を与える．

Eスコアは，10点を満点として，美しさ，実施，技術，構成上の欠点による減点を合計したものとなる．減点の対象となるのは，着地における完璧な姿勢からの逸脱，演技における膝・腕・体等のまがりや脚の開き，静止技における完璧な姿勢からの逸脱などであり，逸脱の量やまがり角度により，減点の量が決まっている．減点は演技の難度とは関係なく，0.1単位で算出される．

現在，Dスコア，Eスコアの採点は，それぞれ，D審判，E審判によって独立に行われている．D審判は，選手の実施した技を目視で認識し，速記記号に相当するシンボルマーク（技記号）を用いてDスコアシートに記録し，演技終了後にシートに記載された結果に加点項目を加えてDスコアを決定する．E審判も同様な目視・手作業によってEスコアを算出している．

2.2　体操採点の課題とディジタル化による解決

国際審判資格を持った審判員は高い技能を備えているが，採点の基準を記載した採点規則が，人が審判することを前提とするために元来としてあいまいさを持っていることや，採点規則に減点要素として記載されている関節の理想からのまがり角度を人が目視で正確に認識することが不可能であることから，採点は経験に頼らざるをえず，正確性・公平性の担保には本質的な困難さが存在する．図1では採点規則の腕・脚・体のまがりに対する実施減点の表記のあいまいさ（「まっすぐ」「わずかにまがる」「明らかにまがる」など）を示しており，この課題に対して，後述する3Dセンシング技術により出力される18関節の3D座標位置によって決まる関節のまがり角度を定義し，採点規則をディジタル化することによって，審判ごとの個性を排除する仕組みを示している．現在，富士通は国際体操連盟と協議しながらICTにより採点基準を解釈するための判定基準の明確化を進めている．

また，高得点化に向けた体操選手の競技力向上も目覚ましく，最高難度は，2019年の世界選手権でJ難度に塗り替えられた．加えて，複雑で速い動きを持った高難度の新技は増え続けており，全技数は2017年版採点規則で，男子6種目で819，女子4種目で549となっている[2],[3]．こうした状況の下，国際大会では監督からの問合せ（インクエリ）によっていったん決定したチーム順位（メダリスト）が変更となる事例も発生しており，技の高度化による競争が厳しさを増す中で，選手や観客に対して納得できる採点結果を遅滞なく提示する必要が高まっている．

国際体操連盟では高まる採点の品質向上への要求に応えるため，オリンピックや世界選手権において，図2に示す体制で採点を行っている．種目毎に種目担当スーパーバイザー（AS．採点規則を策定する技術委員会に所属する）が置かれ，配下にDスコアを決定する2名のD審判，Eスコアを決定する5名のE審判，Eスコアに問題を生じた際に対応するR審判，線審，計時審判が割り当てられている．D審判間でDスコアに矛盾が生じ，両者が調整しても採点結果が決まらない場合（ブロッキング・スコア）には，種目担当スーパーバイザーが最終決定を行う．種目担当スーパーバイザー全員の業務を監督し，採点に介入することが可能な上級審判員を除いても，審判員の総数は112名となっており，採点の正確性・公平性担保のために審判員をこれ以上増やすことは有効ではない．こうした状況を踏まえ，センサによって選手の動きを取得し，AI技術の活用により審判作業を支援する採点支援システム実現への要求が高まってきていた．

採点支援システム実現に向けて必要な技術要素は，アスリートの動きの可視化である．アスリートの3D骨格座標を1cmレベルの高精度にディジタル化する従来手法としては，モーションキャプチャが主流であった．この技術は，関節近傍の体表面に反射マーカを取り付け，10台以上の赤外線ビデオカメラで撮影した後，人手による補正作業を含めた後処理を経て，3D骨格座標を求める．ただし，反射マーカはアスリートの精密な動きを妨げるために実際の競技で適用できず，研究開発用途に限られる．富士通研究所は，自動車向けに開発してきた3Dレーザセンサと，リハビリ向けに開発してきた骨格認識ソフトウェアを組み合わせて，反射マーカの必要なく3D骨格座標をリアルタイムに計測する3Dセンシング技術の開発に成功し，体操採点支援システム構築に向けて精度・速度を向上してきた．さらに，得られた3D骨格座標の時系列情報から，実施演技の技を認識する技術についてもDeep Learning技術を取り入れながら実用化した．3Dセンシングと技認識技術については第4章以降で詳しく解説する．

3．体操採点支援システムの概要

3Dセンシング技術や技認識技術による体操採点支援システムの模式図を図3に示す．反射マーカを使用せずにアスリートの3次元の動きを数値化するため，3Dレーザセンサを使用して人体表面の凹凸情報を表す深度画像を取得する．この深度画像から骨格認識により主要関節の3D座標を高精度に求め，肘や膝，背骨等のまがり角度を正確に決定する．さらに，得られた角度の時系列変化を入力とし，技のデータベース（辞書）を参照することで技認識を行っている．このように，3DセンシングはIoT／AIの複合技術で構成されており，後述する技認識にもAI技術が採用されている．

3Dセンシング・技認識技術によって得られた3D骨格座標と技認識結果から採点支援アプリを駆動する．図3に示すように，採点支援アプリには，体操選手の演技におけるフレームごとの関節角度を詳細に確認できるマルチアングルビューと，実施された技ごとに技認識結果により得られる技名等を示す技認識ビューが存在する．マルチアングルビューでは，3Dセンシングの出力である3D骨格座標を，図4（a）に示すように，正面・側面・平面などの視点から表示できる．図では，あん馬における左手と左足を結ぶ直線が鉛直方向となす角度を示しており，あん馬上での倒立の成立・非成立の判定に利用される．こうした解析は，審判の判定に対するインクエリやブロッキング・スコアが生じた際に，選手の演技において問題となるフレームを検索し，判定の基準となる関節角度を満たしているか，否かを確認するために利用でき，正確性・公平性の担保に役立っている．一方，技認識ビューでは，図4（b）に示すように時系列での技認識結果を示すとともに，その技のグループ番号，技の難易度，難易度価値点を示し，全演技技のDスコアを生成することで，審判業務の負担を軽減する．

採点支援アプリの価値の展開に関しては，体操以外の採点競技への適用に加え，トレーニングアプリと放送・エンターテイメントコンテンツが存在する．従来の体操のトレーニングにはビデオ映像を使用してきたが，好不調時の差を数値化して比較できなかった．3Dセンシング技術によりアスリートの動きを客観的な関節角度として提示できるため，データに基づく科学的なトレーニングに活用でき，スランプからの早期脱出，怪我をしない動きの習得，新技開発のスピードアップにつなげることなどが期待できる．また，観客や視聴者の視点からは，現状の視聴プログラムはアスリートの技の難易度や判定基準がわかりにくく，解説を聞いて何とか理解できる状態と言える．採点支援システムにより演技構成や難易度をリアルタイムに提供することで，アスリートの驚異的な身体能力を目に見える形で伝え，視聴プログラムの魅力をより向上することができる．

4．3Dセンシング技術

4.1　3Dレーザセンサ技術

アスリートの素早い動きを正確に捉えるため，高いフレームレートで，遠距離に位置するアスリートを高い解像度でスキャンできる深度画像取得方式が必要である．表1は，各種の深度画像取得方式を比較している．深度画像カメラとは，投射光からの反射を解析して得られる深度情報を集積化イメージセンサ[5]により取得するカメラであり，ゲーム用途向けに市販されている[6]．深度画像カメラでは，高速・高分解能の深度情報が得られるが，5m以上の遠距離に対応することはできないため，スポーツへの応用には制約がある．

スポーツ全般に応用可能な15m離れた場所からの深度画像を得るために，LiDAR（Light Detection and Ranging）技術を採用したレーザセンサが広く注目されている．LiDARは，パルス照射されたレーザ光の反射を利用して，対象物との距離やその外形などの性質を分析することができる．LiDARは，採用される投光側のスキャン方式と受光側の光学系の構成によって，速度や分解能が変わる．スキャンにポリゴン・ミラーなどを用いる回転モータ型では，1ラインの走査後次の走査まで回転待ちが発生するため，高速化が困難である．この問題を克服するために，走査範囲内でのみ機械的な変位を行うMEMS（Micro Electro Mechanical Systems）ミラー型が有効となる．

スポーツ用途では，高分解能化のため従来のLiDARよりも走査点数を10倍以上に増やす必要があり，MEMSミラーのスキャン速度をさらに高速化しなければならない．このため走査角度拡大レンズを使用すると同時にMEMSミラーも小型化する必要があるが，投受光が同軸となるように光学系を設計すると，受光系に使用されるMEMSミラーもスキャン速度高速化のために小型化されるので，散乱の影響を受けた対象からの反射光すべてを捕捉できず，光検出器での光量低下を起こす．そこで，受光量確保のため投受光を分離した光学系を採用した．富士通研究所が開発したMEMSミラー・投受光分離型3Dレーザセンサの構成を図5に示す[7]．対象物の距離測定には，レーザパルス投射から反射光検出までの時間を測定するToF（Time-of-Flight）方式を採用している．レーザパルスが投射されてから対象物に反射し，受光ユニットで検出されるまでの時間差をΔT，光速をc（約30万km／s）をとすると，対象物までの距離はΔTc/2で与えられる．

また，さまざまなスポーツ競技に対応するために，3Dレーザセンサの配置には自由度を持たせる必要があり，結果として幅広い距離と領域にわたって高解像度を実現する3Dレーザセンサ技術が必要となる．つまり，図6（a）に示すように，人が近距離に存在する場合には，高い解像度で深度情報を取得できるが，遠距離の場合に同じ画角では解像度が低くなってしまう．このため，図6（b）に示すように，遠距離に人が存在する場合は，MEMSミラーの制御により画角を絞り，人の解像度を近距離と同等のレベルまで向上させる画角制御技術が必須となる．図7では近距離の深度画像における人の解像度を基準として，遠距離において画角制御をON／OFFした場合の比較を行っている．画角制御を行うことにより，人の動きを近距離と同じレベルの高い解像度でセンシングできることを示している．

4.2　骨格認識技術

3Dレーザセンサが取得した深度画像から人体を構成する各関節の3D座標を抽出するのが骨格認識技術である．採点支援システムでは，演技終了後ただちに審判員の判定を支援可能な高精度の3D骨格座標や関節角度を出力しなければならず，その認識精度はゲーム用途などに比べて抜本的な向上が要求される．また，演技中の選手の姿勢は他のスポーツで見られないものであることから，既存の機械学習を利用した骨格認識システムでは，体操特有の姿勢が学習されていないために誤認識の多発が予想された．本要件を満たす高速・高精度骨格認識技術として，図8に示す学習型骨格認識とフィッティングを組み合わせたハイブリッド方式を開発した．

学習型骨格認識の学習フェーズでは，深度画像を入力として関節座標の推定値を出力する推論モデルを，あらかじめ設計されたCNN（Convolutional Neural Network）系Deep Learningネットワーク上に作成する．このため，取得した体操演技の3D骨格座標からCGによって深度画像を作成し，体操姿勢を含む学習用のトレーニングセットを用意する．認識フェーズでは，体操器具やアスリート自身によるオクルージョン（隠れ）を克服するように設置された多視点の3Dレーザセンサから提供される多視点の深度画像から，推論モデルを用いて3D骨格座標の推定を行う．

続くフィッティングでは，学習型骨格認識出力や前フレームにおけるフィッティング結果などを初期値とし，各センサからの深度画像を統合した3D点群に対して，人体モデルを当てはめる．ここでは，統合点群座標と人体モデルの表面座標の一致度を表す評価関数（尤度）を定義し，最も尤度が高くなる関節角度を最適化により求めることで，最終的な3D骨格座標を決定する．図9では，あん馬演技における点群への人体モデルのフィッティングの様子を示している．ここでは，わかりやすくするため，人体モデルの初期関節位置を故意に点群から離してフィッティングした例を示している．

学習型骨格認識では，推論モデルに基づいて関節位置を推定するため，準備したトレーニングセットの品質によって精度が左右される場合がある．図8のように後段にフィッティングを実施することにより，統合点群に合わせて関節位置を実測値に合わせこむことができ，採点支援に要求された精度を達成できる．一方，フィッティングのみでは最初のフレームで初期値が存在しないことや，前フレームからのトラッキングがはずれた場合の対処ができないため，事前の学習型骨格認識は必須である．

フィッティングにおける最終精度は，人体モデルの精度に依存する．人体モデルは図9に示すように円柱・楕円柱などで構成されており，円柱の長さ・半径等をアスリートの体型に合わせて最適化する必要がある．富士通は，国際体操連盟・日本体操協会と連携して，競技データのみならず，競技に参加する選手の体型データの取得を進め，採点支援の精度向上を実現している．

5．技認識技術

採点支援向け技認識技術の概要を，あん馬を例にして図10を用いて説明する．新しい技が追加された際に最小限のデータ追加で対応することが要求されるため，まず1つ1つの演技を構成する基本運動を定義し，基本運動に関連した特徴量（図10の例では手の支持位置と体躯とあん馬のなす角度）をパラメータとして基本技を認識し，連続する基本技を技の辞書と時系列照合して採点の対象となる技を認識する構成となっている．図10の左下の例では，最初の基本運動として「正交差倒立」，続いて「下ろして開脚支持」が認識された結果，最初に演技された技が「セア倒立」であると判定している．

基本運動の数は，男子6種目819技に対して475，女子4種目549技に対して318と，技総数と比較して削減できており，基本運動認識による共通要素の抽出によって技認識精度の向上が期待できる方式となっている．図4（b）に示したように，いったん採点対象となる技として認識できれば，採点規則から技のグループ番号，技の難易度，難易度価値点は一意に決まり，演技で実施された全技から採点規則にしたがって価値点を合計することでDスコアを自動的に生成できる．

技認識において最も重要な技術要素は，フィッティング結果である3D骨格座標の時系列データから，基本運動間の切れ目を認識し，分割された時系列データに対して特徴量と基本運動を決定することにある．基本運動間の切れ目や特徴量，基本運動，特徴量を決定するアルゴリズムには，ルールベース（判定ロジックと閾値により決定）と機械学習（Deep Learningによる学習・識別の実施）の2つの手法があるが，我々は種目によって使い分けている．たとえば，平均台の採点では，単純な技の判定に加え，技と技の組み合わせの成否から加点の有無を判定する必要がある．組み合わせの成否は，技と技の間の「つなぎ動作」の経過時間と姿勢の乱れの有無により判定されるが，技とつなぎ動作の境界や姿勢の乱れの厳密な定義ができないため，ルールベースによる定式化が困難である．そこで我々は，図11に示す2台（Dual）のCNNオートエンコーダ（Auto Encoder, AE）を併設し，技とつなぎ動作の境界にマージンを持たせて両動作領域を抽出し，技認識と，技と技の組み合わせ成否判定を高精度に実施する手法を開発した[8]．

6．正式採用までの取り組み

富士通は，2016年5月に日本体操協会と3Dセンシング技術を使用した採点支援技術の共同研究に合意し，同年10月には，日本体操協会から提供を受けた審判ノウハウ，選手データなどにより採点支援のプロトタイプシステムを構築し，国際体操連盟総会における概念実証に成功し，正式採用に向けた開発を開始した．2017年10月に開催されたモントリオール世界選手権では，国際体操連盟と共同で大会データを取得し，つり輪演技における3Dセンシング技術適用の有効性を実証することで，国際体操連盟と富士通との採点支援システム構築に向けた業務提携を発表した．

2018年11月のドーハ世界選手権では，国際体操連盟の技術委員会幹部と，マルチアングルビューを使用したつり輪・あん馬での採点支援システムの技術（精度，UI，システム統合）検証を実施した．図12は，ドーハ世界選手権における技術検証の様子を示している．ここでは，3Dレーザセンサの配置状況が示されているが，センサの配置は，センサの画角・測定可能距離（範囲）や選手の最大可能演技範囲だけでなく，種目ごとのオクルージョン，ポディウム（器具の置かれた演台）の形状やTVカメラ・審判席の配置を考慮する必要がある．そこで，センサ配置チェックツールを用意し，現場での事情によりセンサの配置換えが必要になった場合にも，即座に配置の正当性を確認できるようにしている．

つり輪において3Dセンシング技術を利用することで正確性・公平性が改善される例を図13に示す．この図は，ドーハで実施された4選手の中水平静止技とみなされる演技において，つり輪水平線と腕のなす角度の時間平均値θavを示している．採点規則によれば，肩がつり輪の位置まで下りれば（θavは理想的には0°となる）難度価値点の高い中水平静止，肩がつり輪の位置よりも高ければ難度価値点の低い上水平静止と判定されるべきであるが，体の位置がつり輪と水平になっていると，肩とつり輪との水平位置の関係が目視で検知されにくくなっている．こうした人では検知困難な技を正確に認識するため，3Dセンシング技術を利用したマルチアングルビューでの採点支援が有効であることが確認された．なお，実際の判定では，国際体操連盟技術委員会との協議を進めた結果，審判員の見方に合わせて輪の上端と肩関節の高さの差分値により判定を行うように決定された．

この後，2019年4月の東京ワールドカップでは，マルチアングルビューの対応種目に平均台を加え，さらにつり輪技認識ビューを国際体操連盟技術委員会幹部と検証し，高評価を受けた．同年6月のハンガリーでのジュニア世界選手権ではマルチアングルビューと技認識（Dスコア採点）の対象種目を，男女跳馬を含めた5種目に広げてシステム検証を行い，順調な技術の進化を提示した．こうした検証の成果が，冒頭に述べた国際体操連盟における採点支援システムの正式採用につながり，同年10月のシュツットガルト世界選手権における実運用へと結実した．実運用にあたっては，審判の判定に対する監督側からのインクエリや審判間でのブロッキング・スコアが生じた際に，マルチアングルビューから関節角度を正確に確認することができ，採点の正確性・公平性の担保に大いに役立った．

6．まとめと今後の展開

今後の高まりが予測されるスポーツICT市場に対し，富士通がグローバルトッププレーヤーとしての地位確立を目指して開発している体操採点支援システムを紹介した．本システムは体操採点ノウハウとIoT／AI技術を結集したディジタル分野の最新の研究開発事例にあたり，マルチアングルビューと技認識ビューを活用して，正確性・公平性への要求が高い体操採点を支援できることを実証した．前者は，3Dレーザセンサが取得した深度画像に，学習型骨格認識とフィッティングの組み合わせにより高精度で3D骨格座標を抽出した結果を表示し，体操選手のフレームごとの詳細な動き解析に使用される．後者は，3D骨格座標の時系列変化を技のデータベースと照合して，演技の技認識を行って採点結果を表示する．学習型骨格認識，技認識の両者ともDeep Learningを活用している． 体操採点支援システム開発で培った3Dセンシング・技認識技術を，さまざまなスポーツ競技，スポーツ以外の他の業界に展開することで，より良い社会の構築に貢献することを目指していきたい[9]．