デジタルプラクティス Vol.10 No.1(Jan. 2019)

設備保守の教育研修支援を目的とするAR技術の開発と評価

佐川 浩彦1  山北 誠2  瀬川 修2

1(株)日立製作所  2中部電力(株) 

熟練作業者の作業スキルを継承し,作業品質を向上するための作業者支援技術の1つとして,AR(拡張現実)技術に対する期待が高まっている.AR技術は,作業の場所や内容を現実の対象物あるいは画像中の対象物上に提示することができるため,経験の浅い作業者を対象とする教育研修の場においても有用性が高いと考えられる.本事例では,電力会社における通信設備点検を対象としてAR技術を用いた教育研修支援システムを試作し,教育研修が実施される現場での検証に基づくAR技術の改良,および新入社員や実務経験者を対象としたユーザ評価を実施した.ユーザ評価の結果,教育研修におけるAR技術による情報提供の有効性が確認されたが,AR技術の精度に関してはさらなる向上が必要であることが示された.

1.はじめに

近年の我が国の高齢化に伴い,作業現場における熟練作業者が減少し,経験の浅い作業者による作業の割合が増加しつつある.この結果,作業スキルの不足によるヒューマンエラーの増加および作業品質低下が懸念されている[1].この問題に対応するため,熟練作業者の作業スキルを活用し,作業品質を向上するための作業者支援技術の開発が求められている.

近年,画像処理による支援技術の1つとして,拡張現実(Augmented Reality : AR)への期待が高まっている[2].AR技術は,現実の空間中あるいはそれを撮影した画像中に存在する対象物上に,作業を行うべき場所や作業内容を表示することができるため,作業者は対象物や手順を視覚的に把握し,効率的に作業を進めることが可能になると考えられる[3].さらに,このようなAR技術の特長は,経験の浅い作業者を対象とした教育研修の現場において,作業スキルを効率的に習得することにも有用性が高いと期待される.

AR技術を教育研修の現場へ適用する試みは,自動車の保守作業[4],[5],航空機の保守作業[6],装置の組立作業[7],[8]等を対象として進められているが,適用分野ごとに作業環境や作業の内容,必要な支援方法等が大きく異なり,それぞれの特性に合わせた技術およびシステムの開発が必要となる.

本事例では,電力会社における設備保守作業の1つである通信設備点検作業を対象として,AR技術を活用した教育研修支援システムを試作した.ベースとなるARシステムに対して,教育研修が実施される現場での検証に基づく改良を行うとともに,新入社員や実務経験者を対象とした試作システムの評価を行い,その有効性の検証や課題の抽出を行った.

本稿の構成は以下の通りである.第2章では,教育研修にAR技術を適用した場合の期待効果について述べる.第3章では,本事例で対象とする教育研修の内容と,開発したAR技術を用いた教育研修支援システムの概要について述べる.第4章では,教育研修の現場における検証によって明らかとなった課題とそれに基づくAR技術の改良点について説明する.第5章では,新入社員を対象として実施したユーザ評価の結果とその結果に基づくシステムの改善内容を,第6章では,第5章の改良点の効果を確認するために実務経験者を対象として行ったユーザ評価の結果と総合評価を述べる.第7章では,まとめと今後の課題を述べる.

2.教育研究におけるARの期待効果

AR技術は,現実の空間中あるいはそれを撮影した画像中に存在する対象物上に情報を重畳表示する技術である.このようなAR技術を教育研修に適用した場合,以下のような効果が期待できると考えられる.

(1)作業内容の理解促進

作業内容や対象物に関する情報を対象物に対してピンポイントに提示することができる.これにより,実際の対象物とそれに関する情報の関連付けが容易となり,作業内容や対象物に対する理解促進が期待できる.

(2)教育研修の効率化

作業者が見ている実環境中やカメラで撮影した画像上に対象物の位置を提示することにより,作業者を目的の対象物に迅速かつ確実に誘導することが可能となり,教育研修の所要時間の短縮につながると考えられる.

(3)ヒューマンエラーの削減

作業者が見ている実環境中やカメラで撮影した画像上の対象物に対して情報(名称や操作内容,注意喚起等)を重畳表示することにより,対象物を取り違える,作業の内容を間違える,といったヒューマンエラーを抑制することが可能になると考えられる.

これらの期待効果から,本事例では,AR技術を用いた教育研修支援システムの試作を行い,AR技術の教育研修における可能性を評価する.

3.AR教育研修支援システム

3.1 対象とする教育研修

本事例では,電力保安通信設備である多重無線装置の点検作業に関する教育研修を対象とする.本教育研修は,研修用の設備および点検作業に付随する測定機器を用いた模擬作業を行い,設備保守内容と一連の作業手順を習得するカリキュラムとなっている.受講対象者は新入社員および入社1~2年の現場保守要員である.図1に,教育研修で使用する多重無線装置および測定機器の概観を示す.

図1
図1 教育研修に使用する多重無線装置(左)と測定機器(右)

教育研修において実施する点検項目は,各部電圧測定や送信周波数,送信スペクトル測定等の10項目であり,各項目の研修は写真付きマニュアルを参照しながら進められる.マニュアルは,印刷物あるいはタブレット端末上で閲覧することができる.測定機器の使用方法についても別途マニュアルが存在し,いつどのマニュアルを見ればよいかは,指導員がその都度,口頭で該当個所を指示しながら,研修が進められる.

3.2 システムの概要

本事例で試作したAR教育研修支援システム(以下,提案システム)は,プラント等の保守点検作業支援を目的として開発されたAR作業支援システム(以下,ベースシステム)[9]を元に,教育研修支援に必要な機能を拡張したシステムである[10],[11].

ベースシステムでは,タブレット端末をユーザインタフェースとして使用し,タブレット端末のカメラを対象設備に向けると,作業手順や作業個所がカメラ画像上にAR表示される.カメラ画像上で必要な個所のチェックを行うと,次の手順に遷移するため,作業者は画面上に提示される作業手順に従って作業を進めることにより,容易に作業を完了することができる.

カメラ画像上に表示される作業手順等の各種情報(ARコンテンツ)は,あらかじめ,専用のオーサリングツールを用いて作成する.オーサリングツールでは,点検作業を行う設備を撮影した画像をテンプレート画像として登録し,GUIを用いてテンプレート画像上に各種情報をリンクさせていくだけでARコンテンツを作成することが可能となっている.

ベースシステムで使用されているAR技術は,カメラ画像とテンプレート画像をLucas-Kanade法[12]でマッチングすることにより,対象設備に対するカメラの位置姿勢を推定する2Dマーカレストラッキングに基づいている.特殊なマーカの貼り付けが不要なため,設置時や運用時における現場の負担が少ない方式である.また,カメラ位置姿勢は,カメラ画像とテンプレート画像の関係を表すホモグラフィ(平面射影変換)行列で表されるため,対象設備の形状が平面状に制限されるが,図1に示した多重無線装置や測定機器では作業の対象となる領域が平面状と見なせる.これらのことから,本事例では2Dマーカレストラッキングに基づくAR技術を採用した.さらに,トラッキング開始時やトラッキング失敗時に行われる初期位置合わせは,局所特徴量のマッチングに基づく方式を採用している.特に,リアルタイムな処理を目的として,特徴点にFAST,特徴量にSIFT[13]を用いている.

本事例では,上述のベースシステムに対して,3.1節で述べた教育研修を支援する観点から,以下の機能拡張およびガイドライン作成を行っている[10],[11].

  
(a)AR表示の表現力向上

ベースシステムにおけるAR表示は,該当個所に簡易なマークを表示するだけであった.一方,教育研修では,作業対象の正確な位置を示すだけでなく,操作方法や操作可能な方向,操作してはいけない場所等の詳細な情報を記号的に表現できることが望ましいと考えられる.このため,カメラ画像上に重畳表示される矢印や記号等を教育研修向けに拡張した.

  
(b)教育コンテンツとしての詳細な情報提供

ベースシステムでは,作業内容は点検項目を表す簡便な文で表現される.一方,教育研修では,作業手順や操作の意味も合わせて理解できる内容を提供できることが望ましいため,より詳細な内容を登録できるようにする必要がある.従来の教育研修では写真付きマニュアルが使用されていることから,提案システムにおいても,写真付きマニュアルと同等の情報を提示できるようにした.

  
(c)インタフェースガイドラインの策定

教材としての内容や操作性の統一と教育支援に適したARコンテンツの作成を目的として,インタフェース作成の指針となるガイドラインを策定した.ガイドラインでは,点検部位への誘導や機器状態のチェック,トラッキング失敗時等について,ARの効果的な使用方法の観点から,コンテンツ作成時に考慮すべきポイントを示している.

図2に,提案システムの動作画面例を示す.図2は,それぞれ,多重無線装置および測定機器を対象とした作業における画面である.いずれも,作業に関する情報がAR表示されたカメラ画像が画面左側に,写真付きマニュアルが右側に表示されている.

図2
図2 多重無線装置(上)と測定機器(下)に対して教育研修支 援システムを適用した場合の画面例

4.現場での検証とAR技術の改良

4.1 現場におけるAR技術の課題

第2章で述べた教育研修におけるAR技術の期待効果は,作業の対象物上に情報が提示されることによって得られる効果であるため,対象物上にずれなく情報が提示されることが重要と考えられる.提示位置の決定は対象設備に対するカメラ位置姿勢を推定するトラッキングの結果に依存するため,対象設備に対するトラッキング精度が提案システムの実用性を判断するポイントになると考えられる.

図1に示す多重無線装置および測定機器が使用される環境において,提案システムの動作を検証した結果,トラッキングに関して以下のような課題が明らかとなった.

(1)照明等による変化の大きい画像やテクスチャが少ない画像への対応

図1左に示す多重無線装置では,照明や周囲の設備等が写り込みやすい金属部分が多用されている.このため,照明条件によって撮影された画像の状態が大きく変化し,トラッキング精度が低下する場合が確認された.また,図1右に示す測定機器では,直線や滑らかな曲線が多く,濃淡も少ないため,撮影した画像はテクスチャが少ない画像となり,トラッキングが不安定になる状況が確認された.状況によって画像の変化が大きい場合やテクスチャが少ない場合でも安定したトラッキングを行える方式が必要である.

(2)カメラの大きな動きや急な動きへの対応

研修中は,実際の設備や測定機器上の対象個所を確認するために,カメラを前後左右に大きく動かすことが考えられる.このような想定で多重無線装置および測定機器に対してカメラを動かした場合の動作を検証した結果,トラッキングの追従性が低下する場合が確認された.上記(1)への対応で解消される部分もあると予想されるが,さらに,カメラの動きへの対応も検討すべきと考えられる.

4.2 現場での検証に基づくAR技術の改良

4.1節で明らかとなった課題に対応するため,以下の方式を考案し,提案システムに実装した.

(1)エッジ情報に基づくトラッキング方式

(2)カメラの動きに基づくトラッキング補正方式

以下,それぞれの方式の詳細を述べる.

4.2.1 エッジ情報に基づくトラッキング方式
(a)方式

照明条件の変動やテクスチャの少ない対象物に対して安定した処理を行う方式として,エッジ情報を手掛かりとした方式が提案されている[14],[15].2Dマーカレストラッキングにおいても,このようなエッジ情報を手掛かりとすることにより,4.1節で述べた課題(1)に対応することができると考えられる.

具体的には,まず,Canny法[16]を用いてテンプレート画像およびカメラ画像からエッジ画像を生成する.次に,生成したエッジ画像に対してガウシアンフィルタを適用した後,従来のLucas-Kanade法によるトラッキング方式を適用する.

(b)評価実験

エッジ情報の利用による効果を検証するため,現場で撮影した画像を用いた性能評価を行った.

テンプレート画像としては,多重無線装置および測定機器の画像を各2枚(すべて幅1,280pixelに統一),テスト画像としては,テンプレート画像と同じ設備・機器の画像各5枚(すべてテンプレート画像とは異なる条件で撮影)を使用した.カメラの動き(直線運動のみ)を想定してテスト画像から切り出した部分画像をカメラ画像として,30frame分のトラッキング処理を実行した後の位置ずれの大きさを測定した.カメラの動きは事前の検証により,通常の使用では最大30pixel/frame程度(処理速度30frame/秒の場合)であることを確認したため,35pixel/frameまで移動速度を変化させた.また,対象設備の近くでシステムを使用する場合と,少し離れた位置から使用する場合を想定し,対象物とカメラの距離が25cm(近距離)および50cm(遠距離)となる場合のサイズで部分画像の切り出しを行った.さらにトラッキングの開始位置とカメラの動きの方向を変化させて,計922パターンについて評価を行った.

位置ずれは,手動で登録したテンプレート画像上の対応位置をトラッキング結果に基づいてカメラ画像上に射影した際のずれの平均により求めた.

(c)評価結果

図3に,エッジ情報を利用したトラッキング方式の評価結果を示す.図3では,位置ずれが平均20pixel以下になったテストパターンの割合を示している.20pixelは,近距離の場合は6mm,遠距離の場合は12mmの位置ずれに相当する.本事例で対象とした設備および測定機器では,位置ずれ12mmの場合に隣接するボタン等の位置を混同する可能性が生じるが,作業実施の際には近距離に近い状態で作業内容の確認が行われると予想されるため,本事例における評価では,位置ずれ20pixelを評価基準とした.また図3において,「従来」は通常の画像を用いた従来のトラッキング方式,「エッジ」は今回提案したエッジ情報を用いたトラッキング方式による結果である.

図3より,エッジ情報を用いた方式,従来方式,いずれの場合も,カメラの移動速度が大きくなるにつれて位置ずれが大きくなっているが,前者の精度は後者の約2倍の精度が得られていることが分かる.この結果から,エッジ情報を用いたトラッキング方式の有効性が確認された.

図3
図3 エッジ情報を利用したトラッキング方式の評価結果
4.2.2 カメラの動きに基づくトラッキング補正方式
(a)方式

カメラの動きに対する追従性を高める手法としては,現在のフレームと直前のフレームの間におけるカメラ位置姿勢の変化を推定し,その結果に基づいて現在のフレームでのカメラ位置姿勢を予測することにより,トラッキングの精度を向上する方式が提案されている[17],[18].本事例においても,同様の方法により,4.1節の課題(2)に対応する.

本事例で使用しているトラッキング方式は,平面を対象としていることから,直前のフレームと現在のフレームにおける画像の間でLucas-Kanade法による疎なオプティカルフローを求め,その結果に基づいて算出したホモグラフィ行列をカメラ位置姿勢の変化分として求める.変化分のホモグラフィ行列を補正値として,直前のフレームにおけるカメラ位置姿勢を表すホモグラフィ行列に乗じ,その結果を初期値として,通常のトラッキングを実行する.

(b)評価実験

カメラの動きに基づく補正方式の効果を検証するため,4.2.1節と同様の画像を用いた性能評価を行った.

テストパターンとして,4.2.1節のパターンに,部分画像を切り出す領域の拡大および縮小を行うパターンを追加した.拡大はカメラを対象設備から遠ざける動き,縮小は近付ける動きに対応する.拡大縮小の速さは,事前の検証により,通常の使用では最大15pixel/frame程度であったため,0,10,20pixel/frameにおいて評価を実施した.ベースとなるトラッキング方式は,エッジ情報に基づく4.2.1節の方式を使用した.

(c)評価結果

図4に,カメラの動きに基づく補正方式の評価結果を示す.凡例にある数値(「補正無X」等のX)は拡大縮小の速さ(pixel/frame)を示している.

図4より,カメラの動きに基づく補正がない場合,移動速度の増加に伴う位置ずれが大きくなっているが,補正を行った場合は位置ずれの増大が抑えられており,補正の効果が確認された.

図4
図4 カメラの動きに基づく補正方式の評価結果

5.新入社員によるユーザ評価

5.1 評価方法

4.2節の改良を実施したAR技術の効果を確認するために,改良点を実装した提案システムを用いて,新入社員を中心としたユーザ評価を実施した.被験者は,以下の通りである.

・入社1年目の通信部門社員10名

・関係会社社員1名

・研修講師1名

対象とする作業は,第2章で述べた多重無線装置の点検作業におけるAGC(Automatic Gain Control)特性測定とした.AGC特性測定は,受信IF(Intermediate Frequency)出力レベル(AGC特性)を測定し,値が規格を満足することを確認する作業である.この作業は,図1に示す設備および測定機器を使用する頻度が高いことから,今回のユーザ評価の対象として選択した.

ユーザ評価は以下の手順で実施した.

(i)被験者への提案システムの説明と,被験者によるシステムの動作確認

(ii)被験者による提案システムを用いたAGC特性測定作業の実施(図5

(iii)被験者によるアンケートへの回答

講師以外の被験者は,AGC特性測定を実施する前に,従来方法(印刷物およびタブレットによるマニュアルを使用)での作業を1回以上,体験済みである.

アンケートは,第2章で述べた期待効果が提案システムにより得られるかどうかを確認することを目的としており,各期待効果を作業者の視点から評価するため,以下のような観点で質問文を作成した.

図5-1
図5-2
図5 新入社員によるユーザ評価の様子
(1)作業内容の理解促進

作業内容が適切に理解されることは,作業がトラブルなく進められることにつながると考えられる.よって,提供された情報が作業に役立ったと感じられたかどうか,すなわち,情報の「有用性」を問う質問とする.

(2)教育研修の効率化

提供された情報により作業をスムーズに進めることができたと感じられたかどうか,すなわち,作業の「効率性」を問う質問とする.

(3)ヒューマンエラーの削減

AR技術により,情報が適切な個所に提示されることがヒューマンエラー削減につながると考えられる.よって,提供される情報と実際の対象物が適切に関連付けて提示されていたかどうか,すなわち,情報提示の「信頼性」を問う質問とする.

質問文は,Webサイトの使いやすさの評価を目的とした「ウェブサイトユーザビリティアンケート評価手法」[19],および新しい技術に対する受容性を評価する「技術受容性(TAM)モデル」[20]に基づく手法を参考に作成した.使用したアンケートの内容を表1に示す.被験者は,これらの質問に5段階評価で回答を行った.

表1 ユーザ評価で使用したアンケートの内容
表1

5.2 評価結果

新入社員によるユーザ評価の結果を表2に示す.なお,質問(3), (6)および(7)については,反転させたポイント(1→5,5→1)を記載している.

表2より,有用性は高いポイントが得られており,AR技術により提供される情報が作業に有効であることが確認された.一方,効率性および信頼性は低いポイントとなっており,さらにAR技術の精度向上を行う必要があると考えられる.

表2 新人社員によるユーザ評価の結果
表2

効率性が低かった原因としては,初期位置合わせの精度が低いため,トラッキングを開始するためのシステム操作に時間を要し,作業時間を短縮することにつながらなかったことが要因と考えられる.ユーザ評価の様子を撮影したビデオを分析した結果,上記を裏付ける状況として,初期位置合わせに失敗し,トラッキングの開始までに時間を要している様子が数多く確認されている.特に,対象物全体が画面に映る位置(遠距離)から撮影した場合,初期位置合わせに時間を要していることが確認された.

また,質問(3)のポイントが低いことから,適切な対象物へナビゲーションする機能を強化することも重要であると考えられる.対象物へのナビゲーションが効果的と考えられるシーンとしては,別の場所にタブレットを置いて作業を行った後,次の作業内容を確認するため,再度タブレットのカメラを対象物に向ける場合が考えられる.このような使用法はユーザ評価中にもしばしば確認されている.また,トラッキングを開始した後,カメラを別の方向に向ける状況もユーザ評価中に確認されている.これは,トラッキング開始時には作業を実施する個所がカメラ画像の端や外側に存在するような場合である.このような場合にも作業者を作業対象まで適切に誘導するための工夫が必要であると考えられる.

信頼性に関しては,特に質問(6)に対するポイントが低くなっており,上記と同様に初期位置合わせの精度が要因と考えられる.また,トラッキングの開始位置は初期位置合わせに基づいて決定されることにより,使用時のトラッキング精度は初期位置合わせの精度に影響を受ける.このため,質問(7)のポイントが低い原因は,初期位置合わせにも起因していると考えられる.これらの要因は効率性の低下にもつながると考えられるため,初期位置合わせの精度改善は重要である.

以上のユーザ評価の分析結果から,以下の2点が課題として挙げられる.

(1)初期位置合わせの精度向上

カメラと対象物との距離に依存せず,精度良く初期位置合わせを行う方式を検討する.

(2)ナビゲーション機能の強化

カメラを向ける対象物に迅速に作業者を誘導する方法を検討する.状況として,以下2点を考慮する.

(2-a)トラッキング再開時

(2-b)画面上に対象物がない場合

5.3 ユーザ評価に基づくシステムの改良

ユーザ評価で明らかとなった課題に対応するため,以下の改良を行った.

(1)複数テンプレートによる初期位置合わせ

(2)トラッキング再開時のナビゲーション機能

(3)画面上に対象がない場合の誘導機能

以下,それぞれの改良点の詳細を述べる.

5.3.1 複数テンプレートによる初期位置合わせ
(a)方式

トラッキング開始時の初期位置合わせには,スケールに頑健な局所特徴量であるSIFT特徴量のマッチングに基づく方式を使用している.しかし,特徴点の検出には高速化を目的としてFASTを使用しているため,特徴量抽出の際にSIFT特徴点のスケール値が使用できない.これにより,カメラ画像とテンプレート画像のサイズの違いにより,初期位置合わせの精度が低下していたと考えられる.

この問題を解決するため,サイズが異なる複数のテンプレート画像を用いる方式を採用した.それぞれのテンプレート画像について,カメラ画像との間で特徴点のマッチングに基づく方式により対応関係を求める.得られた対応関係を用いてカメラ画像をテンプレート画像上に射影した場合の領域が,元のカメラ画像の形状(長方形)により近い対応関係を初期位置合わせの結果として採用する.

(b)評価実験

複数テンプレート画像による初期位置合わせの効果を検証するための評価実験を行った.

本実験では,4.2節で使用した各テンプレート画像から2種類のサイズの画像(幅640pixelおよび1,280pixel)を生成し,テンプレート画像として使用した.テスト画像も4.2節と同様の画像を使用し,それぞれの画像から切り出した部分画像をカメラ画像として初期位置合わせを行った.本実験におけるテストパターンは155パターンである.

初期位置合わせの結果から4.2節と同様の方法で位置ずれを評価値として求めた.

(c)評価結果

表3に,1種類のテンプレートを用いた場合と複数(2種類)のテンプレートを用いた場合の初期位置合わせの結果を示す.表3におけるテンプレート640は幅640pixel,テンプレート1,280は幅1,280pixelのテンプレート画像のみを用いた結果を示している.また,初期位置合わせでは,その後のトラッキングにより位置ずれが改善される場合もあることから,基準を位置ずれ50pixel以下に緩めた精度も表3には記載している.

表3より,複数のテンプレートを使用した場合は,1種類のテンプレートを使用した場合より初期位置合わせの精度が大きく改善されることが確認された.しかし,位置ずれの基準を50pixel以下とした場合においても精度は約80%にとどまっており,精度向上のため,別方式の検討も必要と考えられる.

表3 複数テンプレートによる初期化処理の評価結果
表3
5.3.2 トラッキング再開時のナビゲーション

トラッキングを再開させる際,適切な対象物にカメラを向けるように作業者を誘導する方法としては,カメラを向ける対象物を示す図や写真を作業者に明示することが効果的であると考えられる.

提案システムでは,2Dマーカレストラッキングに必要となる設備や測定機器の画像がテンプレート画像として保存されている.そこで,対象物にカメラを向ける必要がある場合(初期位置合わせを実行する場合),該当するテンプレート画像を画面上に縮小表示することにより,作業者を対象物に誘導する機能を追加した.図6に,対象設備の画像により作業者をナビゲートしている様子を示す.

図6
図6 トラッキング再開時のナビゲーション例
5.3.3 画面上に対象物がない場合のナビゲーション

画像上に対象物が存在しない場合に作業者を作業対象物まで適切に誘導する方法としては,対象物が存在する方向を画面上に明示する方法が効果的であると考えられる.

本事例で使用しているトラッキング方式では,テンプレート画像とカメラ画像の対応関係と,あらかじめテンプレート画像上に登録された対象物の位置情報とに基づいて,カメラ画像上における対象物の位置が計算される.この計算によりカメラ画像の範囲外に存在する対象物の位置も求めることができる.

そこで,トラッキング中に対象物がカメラ画像上に存在しないと判断された場合は,カメラ画像の中心から見た対象物の方向を算出し,その方向を示す矢印を表示する機能を追加した.対象個所がカメラ画像上に存在しないと判定する条件は,カメラ画像上に存在する対象物の面積が10%以下の場合とした.図7に対象物が存在する方向を示す矢印を表示した例を示す.

図7
図7 対象物が画面上にない場合のナビゲーション例

6.初期位置合わせ・ナビゲーション機能の改良点に関するユーザ評価

6.1 評価方法

5.3節の改良点の効果を確認するため,5.1節のユーザ評価で使用した提案システムに5.3節の改良点を実装し,実務経験者を対象としたユーザ評価を行った.被験者の内訳は以下の通りである.

・研修所スタッフ(2名)

・通信部門研究員(2名)

本ユーザ評価では,第5章で行ったユーザ評価と同様の設備および測定機器を使用し,AGC特性測定を対象作業として実施した.ただし,実際の作業は行わず,作業をしている想定で提案システムを使用するという方法で評価を行った.システムの使用後,第5章と同様のアンケートに回答してもらった.

6.2.評価結果

実務経験者によるユーザ評価の結果を表4に示す.前述の通り,本章の実験では5.2節の評価(表2)と被験者が異なるため,各評価項目について厳密な比較はできないが,参考として改良手法の効果について定性的な考察を述べる.

表4より,今回の評価では,第5章の評価と比較して信頼性のポイントに改善が見られなかった.これは,評価時の使用状況において,初期位置合わせの精度向上やその結果によるトラッキングの精度向上が想定ほど機能しなかったことが考えられる.提案システムで使用している技術は特徴点やエッジに基づいているため,それらが検出されない場合は初期位置合わせやトラッキングは不可能となる.また,特徴点やエッジが検出されたとしても,偏った範囲に検出された場合は精度が低下する原因となる.今回対象とした無線装置や測定機器では,ボタンや端子が存在しない平面部分が多く,特に作業者が提案システムを使用しながら作業を実施するような場合は対象設備とカメラの距離が近くなるため,この状況が発生しやすいと考えられる.このような初期位置合わせやトラッキングの精度が低下する状況に対しては,特徴点やエッジが少ないと想定される個所に設置したARマーカによりカメラ画像とテンプレート画像の対応付けを補助する方式等を検討する必要があると考えられる.

表4 実務経験者によるユーザ評価の結果
表4

一方,効率性のポイントは2.6から4.0に向上している.これは,新たに追加したトラッキング再開時のナビゲーション機能(5.3.2節)と画面上に表示されていない対象物への誘導機能(5.3.3節)が大きく寄与しているものと考えられる.

なお,新入社員と実務経験者とでは,評価の観点が異なっている可能性もあるため,今後,被験者を増やして,さらに詳細な検証が必要と考えられる.

7.おわりに

本事例では,通信設備点検作業の教育研修に適用することを目的としたAR技術およびそれを応用したAR教育研修支援システムの試作を行った.研修現場における検証やユーザ評価により,技術的な課題を抽出し,教育研修に適用するために必要となるAR技術の改良および機能拡張を行った.今回実施したユーザ評価では,AR技術による支援機能の有効性が確認されたが,本格的に教育研修へ導入するためには,初期位置合わせやトラッキングの精度をさらに向上する必要があることが明らかとなった.

今後は,6.2節で述べたように,ARマーカの併用等により初期位置合わせやトラッキングの精度を改善することによりAR技術の性能を向上するとともに,ユーザ評価を重ね,実際の教育研修に適したシステムを目指し,改良を進めていく予定である.

参考文献
  • 1)五福明夫,星本達也:運転スキル抽出のための注視点遷移パターンの分析手法とその模擬プラントへの適用,ヒューマンインタフェース学会論文誌,Vol.14, No.2, pp.49-56 (2012).
  • 2)神原誠之:特集 拡張現実感(AR)基礎1:拡張現実感(Augmented Reality: AR)概論,情報処理,Vol.51, No.4 (2010).
  • 3) 石井裕剛:特集 拡張現実感(AR)応用2:プラント保守作業支援,情報処理,Vol.51, No.4, pp.392-397 (2010).
  • 4)Farkhatdinov, I. and Ryu, J-H.: Development of Educational System for Automotive Engineering Based on Augmented Reality, International Conference on Engineering Education and Research (2009).
  • 5)Anastassova, M. and Burkhardt, J-M.: Automotive Technicians’ Training as a Community-of-practice: Implications for the Design of an Augmented Reality Teaching Aid, Applied Ergonomics, Vol.40, No.4, pp.713-721 (2009).
  • 6)De Crescenzio, F., Fantini, M., Persiani, F., Di Stefano, L., Azzari, P. and Salti, S.: Augmented Reality for Aircraft Maintenance Training and Operations Support, IEEE Computer Graphics and Applications, Vol.31, pp.96-101 (2011).
  • 7)Gorecky, D., Worgan, S. F. and Meixner, G.: COGNITO -A Cognitive Assistance and Training System for Manual Tasks in Industry, Proceedings of the 29th Annual European Conference on Cognitive Ergonomics, pp.53-56 (2011).
  • 8)Webel, S., Bockholt, U., Engelke, T., Olbrich, M. and Preusche, C.: Augmented Reality Training for Assembly and Maintenance Skills, BIO Web of Conferences, Vol.1 (2011).
  • 9)佐川浩彦,浦野雄大,栗原恒弥:2次元トラッキングに基づく簡易ARによる作業支援システムの開発,ヒューマンインタフェースシンポジウム2013論文集 (2013).
  • 10) 瀬川 修,山北 誠,佐川浩彦:ARを用いた設備保守教育支援システムの検討,ヒューマンインタフェースシンポジウム2015論文集,p.1121 (2015).
  • 11) 瀬川 修,山北 誠,佐川浩彦:AR(拡張現実)を用いた教育支援技術~情報の見える化による設備保守教育支援~,電気評論 夏季増刊,pp.54-58 (2016).
  • 12) Baker, S. and Matthews, I.: Lucas-Kanade 20 years on: A Unifying Framework, International Journal of Computer Vision Vol.56, No.3, pp.221-255 (2004).
  • 13)藤吉弘亘,安倍 満:局所勾配特徴抽出技術-SIFT以降のアプローチ-,精密工学会誌,Vol.77, No.12, pp.1109-1116 (2011).
  • 14)Petit, A. Marchand, E. and Kanani, K.: Augmenting Markerless Complex 3D Objects by Combining Geometrical and Color Edge Information, IEEE International Symposium on Mixed and Augmented Reality (ISMAR), 2013.
  • 15)Hinterstoisser, S., Lepetit, V., Ilic, S., Fua, P. and Navab, N.: Dominant Orientation Templates for Real-Time Detection of Texture-Less Objects, CVPR2010, Vol.10, pp.2257-2264 (2010).
  • 16)Canny, J: A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.8, No.6, pp.679-698 (1986).
  • 17)藤井博文,神原誠之,岩佐英彦,竹村治雄,横矢直和:拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ,信学技報,PRMU99-192 (2000).
  • 18)武富貴史,佐藤智和,横矢直和:拡張現実感のための優先度情報を付加した自然特徴点ランドマークデータベースを用いた実時間カメラ位置・姿勢推定,電子情報通信学会論文誌D,Vol.J92-D, No.8, pp.1440-1451 (2009).
  • 19)仲川 薫,須田 亨,善方日出夫,松本啓太:ウェブサイトユーザビリティアンケート評価手法の開発,第10回ヒューマンインターフェース学会紀要,pp.421- 424 (2001).
  • 20)Davis, F. D., Bagozzi, R. P. and Warshaw, P. R.: User Acceptance of Computer Technology: A Comparison of Two Theoretical Models, Management Science, Vol.35, No.8, pp.982-1003 (1989).
佐川 浩彦(非会員)hirohiko.sagawa.cu@hitachi.com

1991年東京大学工学系研究科情報工学専攻修士課程修了.同年,(株)日立製作所入社.同社研究開発グループにて,手話認識・生成,対話システム,AR等に関する研究開発に従事.博士(工学).

山北 誠(非会員)Yamakita.Makoto@chuden.co.jp

1995年東京工業大学大学院総合理工学研究科電子システム専攻修士課程修了.同年,中部電力(株)入社.同社技術開発本部にて,設備劣化分析,電磁妨害波分析等に従事.

瀬川 修(正会員)Segawa.Osamu@chuden.co.jp

1993年横浜国立大学大学院工学研究科修士課程了.同年,中部電力(株)に入社.同社技術開発本部にて,音声認識,テキストマイニング,画像処理等の研究に従事.2004年名古屋大学大学院工学研究科博士課程修了.博士(工学).

採録決定:2016年12月29日
編集担当:藤原陽子(レノボ・エンタープライズ・ソリューションズ(株))