1．フィールド科学体験型VRシアターシステム開発の目的

1.1　フィールド科学（主に鉱業）におけるデジタルツインの加速

近年，さまざまな分野においてデジタルツインが加速している．デジタルツインの定義は多々あるが，本稿では“実世界の情報を元に仮想空間にデジタルな双子を創り出し，その中で分析・シミュレーションを行い，最終的に実世界にフィードバックする”ものとする（図1）．デジタルツインでは仮想空間内でシミュレートすることにより，設備保全やリスク低減，効率化を実現する．世界の鉱業では鉱物の深部化，品位低下に加え，環境に配慮することが求められており，デジタルツインは高い生産性，安全性を実現するために重要な役割を果たす．

VR（Virtual Reality）はデジタルツインを実現する1つのツールであり，危険な環境である鉱山を仮想空間中に可視化する．資源メジャーの1つであるRio Tinto社はモンゴルのオユトルゴイ鉱山において保安誘導教材としてVRを活用しており，知識の定着率や非常時の判断力が向上したことを報告している[1]．また伊藤らは，資源開発教育用のVR教材を教育現場に使用し，生徒の「学習意欲」が向上したことを示している[2]．

1.2　既往の研究

人間の視界は約30度の中心視野，それより外側，180度付近までの周辺視野に分けられる．この周辺視野を含む広い視野角を持つディスプレイを用いることで，眼球に入る光刺激の占有率を高め，没入感を高めることができる[3]．HMD（Head Mounted Display）のような小型ディスプレイ（図2 左）においては眼球とスクリーンの距離が近いため，特殊な光学系により周辺視野への映像提示を実現する．一方，大型スクリーンを用いた没入ディスプレイにおいては特殊な光学系を必要とせず，上記を達成することができる．代表的な例としては，多面体スクリーンで形成されるCAVE[4]や筑波大学が保持するラージスペース[5]が挙げられる（図2 右）．

図3に鉱山VR開発でオーストラリア国内をリードするニューサウスウェールズ大学における開発のタイムラインを示す．同大学では2001年に単一の個人用ディスプレイを用いたVR環境の開発が行われ，2006年には大型曲面ディスプレイを用いたVR環境が開発された．このような大規模なVR環境下では同時に集団におけるVR体験の共有が可能となる．さらに2007年にはAVIE（Advanced Visualization and Interaction Environment：先進的可視化・交流環境）を導入した円筒型VRシアターが開発された[6]．同シアターは鉱山における災害シミュレーションや地下鉱山内部の様子をスクリーンに360度再現し，高い没入感をもって体験することを可能としたが，場所の制約等により手軽に利用できるものではなかった．一方，同時期にHMDが安価に手に入るようになり，個人用鉱山VRとして広く使用されるようになった．また，日本国内においては2014年に秋田大学と凸版印刷（株）が共同で“バーチャル鉱山実習システム”を開発し，鉱山工学教育に活用されている[7]．このシステムは3次元化された坑道内の様子や鉱山現場の動画を360度で視聴可能なコンテンツであり，高度なVR技術で鉱山現場を作業者視点で疑似体験することが可能である．図4にバーチャル鉱山実習システムを体験している様子を示す．

1.3　フィールド科学体験型VRシアターシステム開発による問題解決

VR分野の代表的なディスプレイ装置としてHMD（Head Mounted Display）が挙げられ，安価かつ高い没入感を提供する一方，個人の利用に限られる，扱いが難しいなど限界もある．そこで円筒型VRシアターを開発し，VR体験を個人から集団へと拡張した（図5）．提案するVR環境下では，ガイド者と多人数の受講者が体験を共有することができるため，高い教育効果を得られることが期待される．また，通常立ち入ることの困難な場所，すなわち，地中や水中，宇宙空間等をシアター内に再現し，フィールド科学におけるデジタルツインインタフェースとして活用していく（図6）．

2．円筒型VRシアターの設計・構築

2.1　VRシアターのサイズの検討

提案するVRシアターには最大10人を収容することを想定している．VRシアターの設置可能スペースは幅15.3m，奥行11.7m，最大高3.6mの空間を持つが，天井に梁があり常に高さが3.6mを確保できない．これを考慮し，まずVRシアターの高さを2.9mに決定した．そしてVRシアターの高さに対し，没入感を損なわず，かつ10人程度収容できる設計として内径を8mに決定した（図7）．

2.2　スクリーンの構築

スクリーンに関しては，円筒形状であり360度の映像投影を実現するものとする．搬入のしやすさを考慮し，16枚の曲面パネルを結合させることで円筒形状のスクリーンを構築した．各局面パネルは高さ2.4m，幅1.57mであり，南東，南西方向に高さ1.79m，幅0.89mの出入口を2カ所設置した．

スクリーンを支える骨組（フレーム部）はプロジェクタなど重量のある装置を搭載可能であることが望ましい．したがって，十分な強度のあるスチールパイプを使用した．スクリーン表面は上下方向にたわみを生じにくい金属製であり，かつ音反射を低減する多孔パネルであることが望ましい．したがって，開孔率10%のアルミニウムパネルを使用した．図8にVRシアターのスクリーンの設計図を示す．

2.3　プロジェクタの選定と投影範囲

VRシアターでは円筒型のスクリーンに立体視可能な高解像度映像の投影を実現する．このために必要なプロジェクタの機能，性能は以下のとおりである．（1）360度投影に十分な個数であること，（2） 1台あたりの解像度が1,920×1,200ピクセルであること，（3）1台あたりの輝度が8,500ルーメンであること，（4）プロジェクタに3D投影方式が備わっていること，（5）歪み補正，エッジブレンディング機能が備わっていること．プロジェクタの個数に関しては1.2節で上述したAVIEを踏襲し，図9に示すように6台をシアター上部に配置した．各プロジェクタが担当する範囲は約60度である．今回選定したDigital Projection製 E-Vision Lacer8500は解像度1,920×1,200，輝度8,500ルーメン，3D投影に関しては1系統入力（Active3D），2系統入力（Dual Pipe）に対応しており，適応すると考えられる．

投影方式には大別してリア投影方式とフロント投影方式がある（図10）．リア投影方式はスクリーンの背面側から投影を行う方式であり，投影光が体験者に遮蔽されないという利点がある．しかし，スクリーンの背面側に十分なスペースが必要となること，輝度が本来よりも劣ること等の問題がある．一方で，フロント投影方式においては高い輝度を実現しやすく，バックスペースを削減することができる．このことから本VRシアターではフロント投影方式を採用した．フロント投影方式では投影光が体験者に遮蔽されることが大きな問題となる．そこでプロジェクタには短焦点型のレンズ（投影比率0.75-0.93:1）を搭載し，人の影の干渉を最小限に抑えることで解決する．

また，複数のプロジェクタを使用するため，それぞれのオーバーラップする個所が不明瞭になることが問題として考えられる．そのため各プロジェクタはエッジブレンディング機能を持ち，オーバラップする映像間の明るさを調整し，シームレスな映像投影を行うことで解決する．図11に示すように各プロジェクタは円筒型スクリーン全周である10,320ピクセルのうち，240ピクセル分を重ね合わせながら投影を行う．

2.4　360度かつ立体映像投影の実現

立体視の手法のうち，2眼式は主に両眼視差による左右の目の見え方の違いを実現するものである．このために左右の目に入る映像を別々に用意し，何らかの方法でその映像を対応する目にのみへ提示する．左右の目に異なる映像を提示する方法には時分割でスクリーンに映し出す左右の映像を交互に切り替えると同時に，同期した液晶シャッタ眼鏡の視界を交互に遮蔽し左右の目に入る映像を分離する方式（時分別式），あらかじめ偏光をかけた視差映像を偏光フィルタ付きディスプレイに投影し，偏光眼鏡で左右の映像を分離する方式（偏光式），スクリーンの前方に設置したパララックスバリアと呼ばれるスリットによって左右それぞれの目から見えるスクリーン領域を分離する方式（パララックスバリア式）がある．

本シアターでは時分別式を採用した．図12に6つのプロジェクタ系統のうちの1つを示す．映像投影の流れとしては，まず上部10,320×1,200ピクセル（左目用映像），下部10,320×1,200ピクセル（右目用映像）の映像を読み込ませる．この映像はグラフィックボードにより各系統，上下含む1,920×2,400ピクセルの映像に分割される．次に映像分配機によってまったく同様の映像が分配された後，映像分割補正装置によって上下各1,920×1,200ピクセルの映像に分割される．最後にこれらの映像群は送信器から受信器を介し，プロジェクタから投影が行われる．立体映像投影の際には，プロジェクタから右目，左目用映像を毎フレーム切り替えつつ，交互に投影し，他方，体験者のかける3D眼鏡では液晶シャッタを左右交互に高速開閉する．これが6系統において行われるため，360度かつ立体映像投影が実現する．

2.5　VRシアターのシステム構成

図13に360度立体映像投影システムを示す．描画用パソコンとしてはDell Precision Tower 7920を使用し，CPUはDual Intel Xeon Gold5222，メモリーは128GB，SSDは1TB，グラフィックボードはNVDIA RTX A5000を3枚搭載している．また，1枚のグラフィックボードにより2つのプロジェクタを制御している．立体投影の際には，全プロジェクタを同期信号生成器と繋ぐことにより120Hzで同期された映像を投影する．同時にこの120Hzの信号はエミッタによってシャッタ眼鏡へと伝えられ，タイミングの同期が実現する．

3．VRシアター投影を目的とした360度コンテンツの開発

3.1　映像と3Dモデル（ポリゴン）

本シアターにおける360度コンテンツは映像と3Dモデルに大別される.

映像に関しては高解像度かつ360度，全周囲撮影された映像いわゆる，全天球映像を用意する．通常，写真や動画は一定の画角で撮影されるが，全方位撮影カメラを使用すれば，カメラの周囲を360度撮影することができる．全方位撮影カメラには複数のレンズが備わっており，各レンズで撮影した画像をコンピュータ上でつなぎ合わせることによって1つの画像となる．また，多くの場合，球面の360度画像を平面に変換する際にはエクイレクタングラー形式が用いられ，VR分野では共通の規格とされている．図14に360度映像をVRで体験している様子を示す．体験者は球状に貼り付けられた全天球映像を中心に立ち，観測する．この際，観測するのは一部分であり解像度は低減する．また，観測者は映像を見ることのみ可能であり，自ら動くことはできない．

一方，3Dモデルは映像とは異なり，仮想空間上に座標を持つものである．主にコンピュータグラフィックス上で作成される3Dモデルは三角形や多角形（polys）の集合体であり，ポリゴンモデルとも称される.3Dモデルはデジタルの双子を創り出す上で重要である．たとえば，Rio Tinto社では露天掘り鉱山の地質情報や掘削，発破の進捗情報をリアルタイムに把握できる3D可視化ツールRTVis（Rio Tinto Visualization）を利用しており[8]，鉱山3Dモデルにさまざまな情報を重ね合わせることで，開発状況の把握を支援する．3Dモデルにおいては観測者が実際に立ち入り，動くことが可能である．

3.2　映像制作

全方位撮影カメラで撮影した映像をVRシアターに投影するためにはシアターの解像度に合わせる，両端のオーバーラップ部を調整する作業を行わなければならない．図15に全方位撮影カメラ，Insta360 Pro2で撮影した映像をVRシアターに投影するまでの流れを示す．まず，上下各7,680×3,840ピクセルをつなぎ合わせた立体映像を撮影した．その後，上下各中央部914ピクセル分の映像の切り出し，結合を行った．次に左端182ピクセル分と同様の映像を右端に結合させることで最終的に上下各7,862×914ピクセルの映像を作成した．この映像の縦横比1828:7862はVRシアターの仕様の縦横比2400:10320におおむね等しく，かつ両端の映像のオーバーラップの処理も完了している．処理が完了したこの映像を描画用PCに読み込むことで，図16に示すように完全な360度映像をVRシアターに投影することが可能である．

3.3　3Dモデルを用いたコンテンツ開発

3.3.1　写真測量法とLiDAR

3Dモデルの構築手法には写真測量法やLiDARを含むレーザスキャナを利用するものが挙げられる．

3次元写真測量技術であるSfM（Structure from Motion）[9]は異なる角度の多視点画像から撮影したカメラ位置と形状を復元する．3次元写真測量の過程を図17に示す．3次元形状を構築するためには，2次元画像座標（x_₁, y_₁）を3次元座標（X_₁, Y_₁, Z_₁）に変換する必要がある．投影中心点（C_₁, C_₂）と実体点（m_₁, m_₂）に対する2つの撮影方向が分かっていると仮定する．次に3次元座標物点（M_₁）は2枚の写真の一致する交点を見つけることで表され，これはイメージマッチと呼ばれる．また，図18はモデリングソフトウェア，Agisoft上における多視点画像から3次元モデルが作成されるまでの一連の流れである．

LiDARとはLight Detection and Rangingの略称であり，対象物にレーザを照射し，反射してくるまでの時間を計測することで距離を測る仕組みである．LiDARを持つ機器として，Matterport（図19）が挙げられ，上部が360度回転し，周囲4.5mをスキャンする．図20は実際にMatterportを使用し，作成した3Dモデルである．さらに近年では携帯端末などにもLiDAR機能が搭載されており，手軽にモデリングを行うことができる．

3.3.2　3Dモデルの構築とVR シアターへの投影

写真測量法では対象物に対し，カメラのベクトルが1つの物体に収束していることが好ましい．一方，鉱山坑道やトンネルのような空間ではカメラベクトルが全方向に向くため従来のモデル構築法では，より多くの画像を撮影する必要がある．これは撮影時間の長期化につながり，鉱山操業にも影響を与え得る．そのため，本項では全方位撮影カメラを用いた鉱山坑道の3Dモデル構築について論ずる．

モデル構築対象は秋田県鹿角市に位置する史跡尾去沢鉱山に選定した（図21）．写真に関しては全方位撮影カメラInsta360 Proを用い，図22に示すように坑道10mを0.5ｍ間隔に21カ所撮影したものである．この21枚の360度画像からAgisoft Metashapeを用いて鉱山坑道の3Dモデルの構築を行った．

次に作成した3DモデルをVRシアターに投影した際に，体験者が360度かつ立体視できるような表示形式の設定を行った．まず，3Dモデルを汎用ゲームエンジンソフトウェアであるUnityに導入した．通常のバーチャルカメラ設定の場合，モデル内のある視点から単一方向を観察したときの映像が表示される．HMDにおいてはこの表示形式が適するが，VRシアターの場合，常に全方向の映像が表示され続けることが要求される．そして立体視を実現するため，各視点において左目，右目用2つのバーチャルカメラを配置することとなる．これらを踏まえ，左目，右目用のバーチャルカメラをそれぞれ19個ずつ用意し，1〜18個目までは20度回転させながら配置した．19個目のカメラ群は先述したように両端のオーバーラップを調整するため，1つ目のバーチャルカメラと同様の映像を映すものとした．そしてUnityのスクリプトにより，3Dモデル内の視点移動，傾きの調整等を行い，exeファイルとしてビルドした．これを描画用パソコンに読み込ませることでVRシアターの仕様に適した，立体視可能な3Dモデルが投影される．図23に上記，3DモデルのUnityへの導入からVRシアターへの投影までの流れを示す．また，図24は実際に投影したときの様子であり，モデル内では自由な視点移動が可能なため，没入感のある体験をすることができる．

3.4　現状のVRシアターにおいて仮想体験が可能なコンテンツ群

本節では現状のVRシアターにおいて体験可能なコンテンツの一部を紹介する．図25に鉱山工学教育用コンテンツをVRシアターに投影した様子を示す．図25 AはRio Tinto社から提供いただいた，360度の立体映像であり，オーストラリアの鉱山から鉄鉱石を採掘し，製錬，運搬する過程や鉱山開発のオペレーションの様子を体験することが可能である． 図25 Bは露天掘り鉱山の3Dモデルであり，広大な露天掘り鉱山の内部を自由に視点移動することが可能で，今後，露天掘り鉱山の作業現場の確認や鉱物量の評価に活用できると考えられる．図25 Cはオーストラリアのニューサウスウェールズ大学等が開発を行ったMineral Awareness[10]と呼ばれるアプリケーションであり，オーストラリア各地の鉱山を360度動画や写真，CGで体験可能なコンテンツである．Mineral Awarenessでは体験者がタブレット端末を用いることで，自ら映像を選択して見ることができ，非常に洗練されたコンテンツであると言える．また，北海道大学の強みであるさまざまなフィールド科学への展開も考えており，他分野学部との連携も視野に入れている．図26はフィールド科学に関連するコンテンツである．図26 Aは海中，図26 Bは宇宙空間の360度立体視可能な映像であり，今後はシミュレーション・モニタリングによるデジタルツインを推進していく．図27はUnreal Engine 5[11]によって再現された都市シーンである．Unreal Engine 5の特徴として，Naniteと呼ばれる超多ポリゴンを読み込み最適化する機構，Lumenと呼ばれる大局照明エンジンが備わり，より現実に近しい3次元仮想空間を創り出す．Unreal Engine 5を投影のためのプラットフォームとすることで，既存の物と比較し，より現実に近しい体験，正確なシミュレーションが可能であると考えられる．

4．鉱山工学教育現場での活用と評価

これまでVRを教育，トレーニングに活用しようとする試みが積極的に行われてきた．たとえば，カリフォルニア大学のMayerら[12]はVR媒体であるHMDと2D動画を比較し，HMDによる没入型教育が学習に対し，より高い効果があることを示した．しかし本研究で開発したようなVRシアターを対象とした実験はほとんど見られない．そこで，VRシアターを鉱山教育現場に適用し，HMDと比較することで評価を行った．

調査方法としてさまざまな手法があるが，本実験では一定の時間内に多数の対象者に対し調査可能かつ，回収率が高い，自記式集合法を採用した[13]．質問項目に関しては，アンケートで広く使われる心理検査の1つであるリッカート尺度[14]を用いた．リッカート尺度では得られた結果を順序尺度として扱うことができるため，さまざまな解析に適用可能である．また，必ず肯定，否定を選ばせるため4件法を採用した．HMD群，VRシアターを比較する評価方法に関しては，対応のない2標本t検定[15]を行った．図28にt検定のワークフローを示す．

本実験は2022年度の講義 地殻システムの1コマ分を使用した．本実験の対象者は資源工学を専攻している学部3年生，28人である．VRシアターの収容人数の制限から，実験は2回に分けて行った．まず28人を14人ずつのグループに分けた．各グループにおいて，始めに実験の説明をした後，HMD群（7人）とVRシアター群（7人）に割り振り，鉱山工学教育用コンテンツを15分体験した．その後，10分間のアンケートに回答する時間をとった．図29に実験の概要，表1に実験で使用した質問項目を示す．質問は「Presence（臨場感）」，「Interest（興味）」，「Enjoyment（楽しさ）」，それ以外で構成されており，12項目それぞれに対して4件法による回答を得た．「当てはまる」を4点，「やや当てはまる」を3点，「やや当てはまらない」を2点，「当てはまらない」を1点として平均値を算出し，各群の平均値をt検定（両側比較）することで有意な差が見られるかどうかを調べた．なお，本実験ではコンテンツとして3.4節で示したRio Tinto社から提供いただいた映像とMineral Awarenessを使用した．

表2に実験結果を一覧として示す．また，図30に横軸に各群における質問項目，縦軸に平均値を表すグラフを示す．Presence（臨場感）に関してはVRシアター群よりもHMD群の方が高いスコアを獲得する傾向にあった．このことからHMDは上下左右，全周囲見ることができ，臨場感に優れるということが推察される．一方，Interest（興味）に関しては項目5にて，有意水準5%で有意な差が見られ，ほかの項目についてもVRシアター群の方が高いスコアを獲得する傾向にあった．この結果から，VRシアターシステムはHMDに比べ，学問に対する関心が高まりやすいと考えられる．この理由としてはVRシアターにおいては多人数が同時にコンテンツを体験できるため，ガイド者の指し示す個所が即座に分かることや，受講者同士が議論をしやすいことが挙げられる．Enjoyment（楽しさ）に関しては特筆すべき差は見られなかった．また，項目12においては両群ともに標準偏差が大きく，VR酔いはどちらのシステムにおいても人によるばらつきが大きいことが推察される．

VRシアターに関しては，「VRでいろいろな現場を見ることができてよかった」，「鉱山のようなスケールが大きいものが多人数で体感できて，楽しかった」というような肯定的な意見が見られた．一方，「つなぎ目が気になった」「VR酔いが強かった」という意見も見られた．HMDに関しては，「VRがリアルで楽しかった」という意見がある一方，「長時間体験すると酔いそう」「重かった」「扱いづらい」といった否定的な意見が散見された．

5．設計・構築・開発・活用を通して得られた知見

本稿ではフィールド科学体験型VRシアターシステム開発における設計・構築のハード面，コンテンツ開発のソフト面，そして実際に教育現場に活用し評価を行ったことについて紹介した．360度の立体視を実現する上でどのようなプロジェクタを用い立体投影を行うか，また，オーバラップする部分の映像のぶれをどのように補正するか等の課題が存在した．前者に関しては6台のプロジェクタからトップボトム形式の立体映像を同期させ，360度に立体映像の投影を行った．後者に関してはエッジブレンディング機能により，オーバーラップする映像（1,200×240ピクセル）の補正を行った．また通常，HMDが広く使用されているが，本実験によりこのような360度で立体視可能なVRシアターが効果的な教育ツールであることが示唆された．HMDと比較し，VRシアターでは多人数が同時に体験可能であり，ガイド者の指示が直ちに分かり，受講者同士でVR体験をしながら議論することができる．そのため教育効果が高くなると推察される．一方，没入感に関してはHMDに劣る部分もあるため，床面の投影による下方向の映像の追加，映像の解像度の向上等，没入感を高める工夫を行っていく必要がある．

6．今後の取り組み

今後の取り組みとしては，第一に床面の投影，スピーカの追加を検討している．これにより，さらに没入感の高い環境を創り出すことができるであろう．第二に情報通信を活用したシステムの構築を検討している．たとえば，遠隔の360度映像をリアルタイムでVRシアターに投影することができれば，遠隔モニタリングやリモートオペレーション等活用の幅が広がると考えられる．また，大学の研究，講義での活用に加え，社会還元の一環として広く一般に公開していくことを検討している．