会誌「情報処理」Vol.64 No.8(Aug. 2023)「デジタルプラクティスコーナー」

タッチレス空中インタフェースとしての3Dディスプレイの利用

八杉公基1,2  山本裕紹2  陶山史朗2

1福井県立大学  2宇都宮大学 

空中に浮かぶ映像を人物が操作する「3Dディスプレイ」はSF作品における近未来の表現としておなじみであるが,感染症リスクの増大を受けて非接触操作のニーズが高まったことで注目を集め,実用化が進められている.本稿では3Dディスプレイ技術として,再帰反射を利用した空中結像技術(AIRR)とアーク3D表示の原理を紹介し,タッチレスデバイスとしての利用例を紹介する.

1.タッチレス空中インタフェースの目的

「3Dディスプレイ」という言葉を聞くと,多くの人はSF映画のワンシーンを思い出すだろう.小さな機器から通信相手の姿が空中に映し出されたり,操縦席に座るとさまざまな情報を示したディスプレイが宙に浮かび,それを操作できたりするのは,おなじみの映像表現である.しかしながら,これらの3Dディスプレイはフィクションの世界に留まらず,現実の世界でも研究開発が進み,社会実装を検討されるような段階にある[1].

とりわけ現在注目されているのは,空中に浮遊する情報ディスプレイとユーザの動きを検出するセンシングデバイスを組み合わせて,アプリケーションによって関連付けた「空中インタフェース」である.3Dディスプレイはデジタルサイネージやアミューズメントにおける装飾としてその応用が期待されていたが,新型コロナウイルスの感染拡大以降は状況が一変した.操作面を払拭する必要のないタッチレス空中インタフェースは,共用デバイスを介した感染拡大を防止するキーテクノロジーとして注目されるようになり,エレベーターの操作ボタンやATM・セルフレジの操作パネルなどとしての利用が検討され,開発が進められている[2].

本稿で紹介する3Dディスプレイは広い視野角から視認することができ,またARコンテンツのようにユーザ側に特殊な眼鏡や機器を必要とすることなく裸眼で観察できるため,公共の空間で使用されるタッチレス端末の用途に適していると言える.3次元の物体映像が空間上に形成されるわけではなく,光源となるディスプレイの表示内容が平面として空中に浮遊する形の3Dディスプレイではあるが,インタフェースとしての利用には十分である.本稿の前半では既存のタッチレス空中インタフェースとその基盤技術について説明し,後半では今後の応用が期待される3Dディスプレイ表示技術について紹介する.

2.実像としての3Dディスプレイ:AIRRによる空中ディスプレイ

まず本章では,タッチレス空中インタフェースの基盤技術である空中ディスプレイについて述べる.ひと口に「空中浮遊像」と言ってもそれを実現する技術はさまざまであり,形成された空中浮遊像の性質や応用範囲も異なる.空中に像を形成させる技術について,ハードウェア面と形成される像の性質による大まかな分類を行った後,狭義の空中ディスプレイの定義と,産業化の動向について述べる.次に,狭義の空中ディスプレイについて,表示技術のうちの1つである,再帰反射を用いた空中結像技術について,原理と実装例を紹介する.

2.1 空中ディスプレイの定義と標準化

本節ではまず,タッチレス空中インタフェースを構成する空中ディスプレイの定義と分類を行う.次に,空中ディスプレイの産業応用と国際標準化について述べる.

2.1.1 空中ディスプレイの定義

「空中ディスプレイ」と呼ばれる表示技術は1860年代から登場して,ホログラフィを始めとする新しい表示技術の開発とともに各種の技術が実用化されている.広い意味での空中ディスプレイとして,観察者の視点位置によらずに空中の同じ位置に映像を形成する表示技術の代表例を表1に示す[3].ここで,「実像」と「虚像」は幾何光学用語としての実像と虚像である.すなわち,実像とは実際に光が集束して形成される像である一方,虚像は発散する光線の向きを逆にたどった位置に映像が見えるが,光線の集束のない像を指す.

表1 空中に映像を形成する表示技術の代表例
空中に映像を形成する表示技術の代表例

これらの表示技術はさらに,映像の周辺もしくは映像と観察者の間に結像のためのハードウェアがあるかどうかで分類される.映像の周辺もしくは映像と観察者の間にハードウェアなしに実像を形成できる技術には,空間光変調素子(駆動に電力を必要とするアクティブ光学素子の一種である)を用いたホログラフィックディスプレイ,微小レンズで構成されたレンズアレイを用いたインテグラル立体ディスプレイが代表的である.最近では,駆動に電力を必要としない光学素子(パッシプ光学素子),特に,フレネルレンズや再帰反射素子,2面コーナーリフレクターアレイ(DCRA),スリットミラーアレイ(SMA)などの結像素子を用いた空中結像が注目されている[4].これらの表示技術で形成された映像は,観察者に特殊な眼鏡などを必要とせず,また手で直接触れることができる.

映像の周辺もしくは映像と観察者の間に結像のためのハードウェアを必要とする表示技術には,透明な基板を用いて映像の向こうが透けて見える透明ディスプレイ,高速走査による残像ディスプレイ,レーザプラズマによる空中描画などがある.透明ディスプレイに表示された映像のタッチ操作では通常のタッチパネルと同様に物理的な接触を伴う.レーザプラズマによる空中描画の場合には映像への接触には危険を伴うことが多い.

虚像としての空中映像を形成する技術として,代表的なものはペッパーズゴースト(Pepper's ghost)と呼ばれる手法である.これは,劇場のステージに設置されたハーフミラーを通して,客席に向けて浮遊像を見せる方法であり,1860年代から舞台の演出に用いられている.近年では,自動車のヘッドアップディスプレイや,ヘッドマウントディスプレイなどにもハーフミラーを通じて外界と映像を重畳して表示する技術が利用されている.これらの技術で形成された映像も,手で直接触れることはできない.

2.1.2 空中ディスプレイの産業応用と標準化

情報ディスプレイの国際標準化を取り扱う国際委員会(IEC/TC110)では,空中ディスプレイは2018年10月のPlenary MeetingにおいてPreliminary Working Itemに採択され,筆者の1人(山本)がプロジェクトリーダとして国際標準化についての審議を進めている.2023年4月時点では,CDV(Committee Draft for Vote:投票用委員会原案)が各国に回付されている状況にある.ここではIEC/TC110で合意された空中ディスプレイの定義を述べる.

国際標準の創設が求められる空中ディスプレイのアプリケーションは操作パネルのタッチレス化と,空中にデジタルサイネージを形成する用途である.これらのアプリケーションに対して,空中映像の表示技術には,

  • (1)映像を素手で直接触れること
  • (2)どこから見ても同じ位置に映像があること
  • (3)特殊な眼鏡なしに映像を観察できること

が求められる.さらに産業上は,

  • (4)通常ディスプレイと同じ程度に安全であること
  • (5)工業生産が可能であること

の要件が求められる.これらの要件を満たす空中表示技術を狭義の空中ディスプレイ(Aerial Display in Strict Meaning)として定義したTechnical Reportが2020年5月に発行された.このレポートにおいて狭義の空中ディスプレイは,「インコヒーレント光源ディスプレイから広い範囲に発散した光をパッシブ光学素子で集束することで空中に実像を形成するディスプレイ」と定義される.なお,インコヒーレント光源とパッシブ光学素子に限定した理由はIEC/TC110においてホログラフィックディスプレイに関する標準化が韓国主導で先に審議がなされていたため,重なりを避けつつ,実用化が期待される技術をカバーすること,さらに上記の要件(4)と(5)の観点によるものである.

狭義の空中ディスプレイでは空中映像の視野角が観察者の瞳孔間距離に比べて十分に広いため,光学的にはその位置に物体がある時と同じ視覚入力となる.そのため,視覚による奥行き知覚の生理的要因である,運動視差,輻輳,両眼視差,目のピント調節のすべてを満足する.つまり,誰が見ても,視点位置が動いても,同じ位置に映像が知覚される.したがって,上記の要件(1)から(3)が満たされる.特に,公衆向けの空中サイネージでは広い範囲から同じ位置に見えることが重要であり,また,不特定多数向けの操作パネルにおいては,単眼でも奥行きを知覚できる滑らかな運動視差を提示できることが重要である.

2.2 再帰反射を用いた空中結像技術AIRRの原理

本節では,狭義の空中ディスプレイとして定義されるパッシブ光学素子による結像を用いた空中ディスプレイ表示技術のうち,筆者らの研究室で研究を進めている「再帰反射による空中結像(AIRR: Aerial Imaging by Retro-Reflection)」[5]の原理について述べる.

2.2.1 AIRRの原理

AIRRは光源,ビームスプリッター,再帰反射素子の3つの要素で構成される.鏡による反射では入射角と反射角が等しくなるのに対して,再帰反射では入射した方向に光が返される.この性質を利用して,再帰反射素子は道路標識や救命胴衣,夜間に歩行者の存在を知らせるシールやキーホルダーなどに使用され,広く普及している.AIRRの基本原理を図1に示す.光源から出た光はビームスプリッター(ハーフミラー)で反射された後,再帰反射素子に入射する(図1a).再帰反射された光は入射方向に返されるため,ハーフミラーで再び反射と透過が行われる.ハーフミラーを透過した光は収束し,ハーフミラーに対し光源と面対称の位置に実像として空中像を形成する(図1b).

AIRRの原理
図1 AIRRの原理

ビームスプリッターと再帰反射素子が重なって見える視点位置で空中像が視認可能であり,十分な広さのビームスプリッターと再帰反射素子を設置すれば約120度という広い視野角で空中像を観察できることがAIRRの特徴である.この時,構成要素の厳密な位置合わせは必要なく,配置の自由度も高い.AIRRを用いた空中ディスプレイ装置の設計上は,光源となるディスプレイを観察者から見えないように配置すること,観察者の視点から見て空中像が途切れないようにビームスプリッターや再帰反射素子を配置することが重要となる.また,ハーフミラーに対し光源と面対称の位置に形成されるため,図2のように光源の位置を調節することで空中像の飛び出し距離を大きくし,ほかのオブジェクトと組み合わせてユーザの目の前に空中像を「飛ばす」展示も行うことができる.しかしながら,飛び出し距離を大きくすることで空中像の解像度は低下する.

(a)光源位置の変更に伴う空中像の飛び出し位置の変化,(b)飛び出し距離の大きな空中像と実物の組合せ展示
図2 (a)光源位置の変更に伴う空中像の飛び出し位置の変化,(b)飛び出し距離の大きな空中像と実物の組合せ展示

しかし,この構成ではビームスプリッターにおいて光の損失が生じる.仮に透過率と反射率が1/2のハーフミラーを使った場合,単純計算で光源から発せられた光の3/4が損失となる.実際は反射と透過の際に光の減衰があるせいで,空中像の輝度は元の光源の輝度の数%まで落ちてしまう.そのため,光源に比べて暗くぼやけた空中像となってしまう.これを解決するための手法として,単純に光源の輝度を上げる以外に,偏光変調を利用する手法(p-AIRR:polarized Aerial Imaging by Retro-Reflection)がある.

2.2.2 輝度向上のための偏光変調を用いたp-AIRR

p-AIRRの構成を図3に示す.ハーフミラーに代えて反射型偏光板を使用し,再帰反射素子上に1/4波長の位相差フィルムを設置する.光源から出た光のうち,反射型偏光板で反射されたS偏光の光は,1/4波長の位相差フィルムを通って再帰反射素子に入射する.再帰反射した光は再び1/4波長の位相差フィルムを通るため,P偏光となり,反射型偏光板に入射する.P偏光は反射型偏光板を透過するため,光が収束し空中に実像が形成される(図3a).実際には再帰反射素子や反射型偏光板の特性により光の利用効率は低下するが,光源に対して20%程度の輝度を持つ明るい空中像が形成される.これは,スマートフォンを光源として形成された空中像でも,屋内の照明下で十分に視認できるほどの明るさである(図3b).

(a)p-AIRRの原理,(b)形成される空中像
図3 (a)p-AIRRの原理,(b)形成される空中像
2.2.3 装置を通して互いが見える光学シースルーAIRR

これまでに紹介したAIRRの原理では,観察者の視点の先には常に再帰反射素子が配置されるため,観察者は装置の向こう側を見ることができず,視界が装置によって遮られてしまうという課題があった.また観察者の周囲の人間も,装置の正面に立たないと観察者が見ているものを共有することができない.これらの課題を解決するため,再帰反射シートの配置を変えた光学シースルー型AIRRが提案された.図4に光学シースルー型AIRRの原理を示す.観察者は,透明なビームスプリッターと空中像越しに装置の外側を見ることができる.また,観察者に対して装置の反対側にいる人間も,装置に向かう観察者を視認することができる.装置にディスプレイを追加せずとも,虚像を介して観察者が見ているものの情報を共有できる利点もある(図4では省略しているが,光源から出た光はビームスプリッターで図の右側に反射されているので,右側の人にも像が見える).

光学シースルー型AIRRの原理と両視点位置からの観察像
図4 光学シースルー型AIRRの原理と両視点位置からの観察像
2.3 タッチレスインタフェースとしての空中ディスプレイの実用例

本節ではAIRRの原理を基に開発・実装したタッチレス空中インタフェースの実機について紹介する.空中ディスプレイをインタフェースとして利用するには,ユーザの動きを捉えるためのセンシングデバイスと,ユーザの動きに伴い何らかの処理を行った結果を表示内容にフィードバックするためのアプリケーションが必要となる.

2.3.1 ステルス空中インタフェース

AIRRの原理と高感度静電容量検出技術を組み合わせることで,空中に浮かんだ映像に触れる要領で,スイッチやタッチパネルなどの既存の接触操作デバイスを操作するかのように操作できるタッチレスの空中インタフェースを実現した[6].図5にデバイスの画像を示す.電源のオンオフや矢印のボタン部分が空中像で形成され,手をかざすことで操作できる.本デバイスでは,ビームスプリッターに加飾印刷技術も応用し,木材や金属などを模した一見ではディスプレイであると判別のつかない意匠性に優れたデザインの筐体となっている.カメラや赤外線を利用した非接触技術と比較して,静電容量検出技術には特に近距離操作時の入力精度の高さやデザイン性の高さに強みがある.また,筐体の外部にセンサやプロジェクタを設置する必要がないので,セットの設計自由度も高く,幅広い用途での利用が期待される.

ステルス空中インタフェースの実機
図5 ステルス空中インタフェースの実機

加飾印刷技術の応用については,木材のほか,図6に示すような大理石を模したビームスプリッターも発表されており,インテリアに溶け込む空中インタフェースの開発が進められている.図5に紹介したステルス空中インタフェース技術はCEATEC AWARD 2022キーテクノロジー部門で準グランプリを受賞した[7].

大理石を模したビームスプリッターによる空中映像
図6 大理石を模したビームスプリッターによる空中映像
2.3.2 フリーハンドで空中に絵が描けるデバイスの実現

光学シースルー型AIRRの原理と赤外線センサを組み合わせることで,ユーザが自身の指先を使って空中インタフェースの表示面にタッチレスで自由入力できるデバイスを実現した.装置の構造を図7に示す.デバイスのサイズは幅500mm×奥行き250mm×高さ512mmで,10インチの高輝度液晶ディスプレイを光源として使用する.ユーザの入力時に装置のフレーム等に接触することを避けるため,装置よりもユーザ側に数cm飛び出した位置に空中像が形成されるよう設計し,赤外線センサを配置してユーザの動きを検出した.検出されたユーザの動きを空中ディスプレイとして表示するためのアプリケーションはUnityで作成した.

フリーハンドで空中に絵が描けるデバイスと観察される像.右はSIGGRAPH Asia 2019展示場の照明下で撮影したもの
図7 フリーハンドで空中に絵が描けるデバイスと観察される像.右はSIGGRAPH Asia 2019展示場の照明下で撮影したもの
光学シースルー型なので,ユーザは装置の向こう側を視認することができる.このことが「空中に絵を描いている」という感覚を強める手助けとなっている.また,描きたい景色や物体を装置の向こう側に置けば,それをなぞる形で絵を描くことも可能となる.ユーザが何を描いているかについては,ユーザの周りに立っている人々には実像を見ることで,装置の向こう側にいる人々には虚像で確認できる.実像なので,実物体との組合せによる映像表現も可能である(図8).
ぬいぐるみと空中インタフェースのコラボレーション例.(a)ユーザ視点,(b)デバイスの向こうでユーザと対面する観客視点
図8 ぬいぐるみと空中インタフェースのコラボレーション例.(a)ユーザ視点,(b)デバイスの向こうでユーザと対面する観客視点
2.3.3 ユーザを取り囲むサイズの全周型空中ディスプレイ

AIRRで形成された空中映像は肉眼で視認できる.これを利用して,等身大の空中映像でユーザを囲むことで,ヘッドマウントディスプレイや特殊な眼鏡などを必要としない,ユーザに没入感を与えることのできる全周型の空中インタフェースを作成した[8].

これまでに作成された空中ディスプレイデバイスのほとんどが卓上サイズであったことから,まず等身大の空中ディスプレイデバイス作成に適した素材を検討するところから始めた.再帰反射素子をタイル状に貼って面積を広げることで比較的容易に空中映像の拡大ができるため,AIRRは等身大デバイスの作成に適した技術だといえる.AIRRの原理とAIRRを構成する光源(LCD/LED),ビームスプリッター(PVC/アクリル),再帰反射素子(ビーズタイプ/プリズムタイプ)の組合せによる空中映像の違いを図9に示す.PVCシートは安価で手軽だが,像のコントラストはアクリル製ビームスプリッターに劣る.ガラスに比べるとアクリル製のビームスプリッターは軽くて安全性も高いが,等身大デバイス作成にはメートルオーダーのサイズが必要となるため,自重によるたわみが生じてしまう課題がある.ビーズタイプの再帰反射素子は安価で視野角が広いのが特徴だが,細かい文字よりも大きな図形の表示などに向いている.空中ディスプレイ用に再帰反射精度を高めたプリズムタイプは明るくコントラストの高い空中像が形成できるが,ビーズタイプよりも高価である.全周型の等身大空中ディスプレイ形成にあたり,映像の明るさとコントラストの高さを重視して,高輝度LED光源・アクリル製ビームスプリッター・プリズムタイプ再帰反射素子を採用した[9].

AIRR構成要素の組合せによる空中映像の違い
図9 AIRR構成要素の組合せによる空中映像の違い

等身大の空中映像を形成するデバイスを,ユーザを囲む形で配置して全周型空中ディスプレイデバイスとした.原理として光学シースルー型AIRRを採用したため,ユーザからは空中映像(実像)と装置の外側にいる人々を視認することができ,装置の外にいる人々は表示されているコンテンツ(虚像)とユーザの動きを視認することができる(図10).

等身大空中ディスプレイデバイスの構成
図10 等身大空中ディスプレイデバイスの構成

本デバイスと,ユーザの動きを捉えるための高速カメラ,VR空間構築のためのソフトウェアを統合することで,没入型のタッチレス空中インタフェースを実現した(図11).スクリーンでユーザを囲み映像を投影するタイプの没入型デバイスとは異なり,装置の外側が見えることでユーザの閉塞感が軽減される.またAIRRは結像面に物理的なスクリーンが必要ないことに加えて,空中像の飛び出し距離が大きくなるよう設計を行ったため,ユーザがデバイスやスクリーンに触れてけがをしたり,スクリーンを傷つけたりする恐れがない.

没入型タッチレス空中インタフェースと表示される空中像
図11 没入型タッチレス空中インタフェースと表示される空中像
2.3.4 建物のガラス壁から動画が飛び出す公衆向け空中ディスプレイ

空中ディスプレイは結像面に物理的なスクリーンを必要としないため,屋外における雨や風の影響を受けて劣化する心配がない.さらに,人が通過しても衝突せずに通り抜けられるため,屋外の広告や看板といったデジタルサイネージとしての利用に向いている.しかしながら,空中ディスプレイを形成するためのデバイスは風雨による劣化や盗難の恐れがあることから,デバイス自体は屋内に設置し,空中映像を屋外に形成したい,さらには空中ディスプレイ広告導入のために建物の設計から行うのではなく既存の店舗の壁を利用したい,というニーズがある.

そこで,新聞社の展示スペースを利用して,既存のガラス壁から歩道に向けて新聞サイズの空中インタフェースを形成することを,光線追跡シミュレーションと実際のデバイス作成の両面から試みた.図12(a)に上から見た装置の構成を示す.p-AIRRの原理を利用して,建物のガラス壁を越えた歩道に空中映像を形成する.図12(b)は光線追跡シミュレーションの結果である.この構成では,結像面に大きな乱れや歪みなく空中像が形成できることが示された.

(a)空中像を形成する装置の構成,(b)光線追跡シミュレーションの結果
図12 (a)空中像を形成する装置の構成,(b)光線追跡シミュレーションの結果

実際の展示の様子を図13に示す.少し離れたところからでもガラス壁から空中像が飛び出ていることが分かるよう,ガラス壁に枠を設置するなどの工夫を行った.また,測域センサとVR空間構築用のソフトウェアを導入し,手をかざしてスライドすることで表示される記事内容を変更できる空中インタフェースを実現した.フリーハンドで空中に絵が描けるデバイスと合わせて,世界初のガラス壁を飛び出す動画の「公衆向け空中ディスプレイ」として展示されたこのデバイスは,2020年12月から2021年3月まで延べ2,000人が体験することとなり,その後も期間を延長して2022年の12月まで展示が行われた[10].

建物のガラス壁から動画が飛び出す公衆向け空中ディスプレイ展示の様子
図13 建物のガラス壁から動画が飛び出す公衆向け空中ディスプレイ展示の様子

2.4 空中ディスプレイ開発から得た知見

本章では,再帰反射を用いた空中結像技術AIRRを中心に,その原理と,さまざまなセンシングデバイスと統合することで実現されたタッチレス空中インタフェースについて紹介した.本節では,実機の作成と展示を通して得られた課題を3つ挙げたいと思う.

1つ目は,空中ディスプレイの解像度である.空中ディスプレイを形成する各技術ともに,素子の改良を行うことでかなりの高画質化,高輝度化を実現しているが,多くのデバイスで光源として利用されているLCDと同程度に高精細な空中浮遊像を形成することは,原理的に難しい.インタフェースとしての利用を考える際には,空中ディスプレイの特性を考慮してレイアウトや文字サイズなどを検討する必要がある.

2つ目は,空中ディスプレイの浮遊感である.感染症拡大防止の観点から,非接触であることに価値がある空中インタフェースであるが,情報表示技術として,ならびにユーザに与える視覚的な印象としても,映像が空中に浮いていること自体に価値を持っている.空中ディスプレイは実像であるため決められた空間位置に存在しているわけだが,この空間位置の把握に慣れるまでの時間は観察者によって異なり,年齢や経験などが影響している可能性がある.また,空中ディスプレイを観察する視点の先に壁などがあると,そちらに張り付いたように知覚される事例も散見されている.これを防ぐためには空中映像の近傍に実立体物を配置すれば良いことが経験的には知られているが,その原因は明らかにされていない.

3つ目は,空中インタフェースの操作性である.インタラクティブなコンテンツを作成する以上,ユーザの動きを捉えて,それに応答する形でコンテンツを変化させ,光源となるディスプレイに表示させるという過程で,応答の遅延は必ず発生する.どの程度の遅延であればユーザが快適に操作できるか,タッチパネルやタブレットは使用されてきた歴史がある分,知見が蓄積されているが,空中インタフェースについては新たに情報を集める必要がある.特に没入型の空中インタフェースではユーザのVR酔いを防ぐためにも,どの程度までの遅延が許容されるかを知ることは重要である.2つ目の空中インタフェースに対するリーチングの検出と併せて,センシングの最適化について検討する必要があると考えられる.

3.もう1つの3Dディスプレイ:空中に浮かんで見えるアーク3D

次に本章では,これまでに紹介した「空中ディスプレイ」を形成させる技術とは異なり,観察者の脳に3Dディスプレイを知覚させる2つの技術を紹介する.1つは円弧状の線刻を付けた透明な基板に照明することで空中浮遊像を知覚させるアーク3D表示である.もう1つは,輝度の違う前後2枚の映像面を使うことで,錯視によって表示内容に奥行きがあるよう観察者に知覚させるDFD表示である.いわば「脳を騙して」そこに3Dディスプレイがあるように知覚させるわけであるが,どちらも簡単な構成で手軽に実現できる技術であり,空中ディスプレイと同様に,タッチレス空中インタフェースとしての応用可能性を秘めている.

3.1 アーク3Dの原理

本章では,アーク3D表示の原理について述べる.アーク3D表示とは,アクリル板,硝子板,フィルムなどの透明な基板に円弧状の線刻を付け,そこに単一光源を照射することで空中浮遊像を表示する技術である[11].ここで空中浮遊像とは,アーク3D表示によって形成される像が基板上ではなく,基板よりも手前側,または基板の背面側の空間に表示されているように知覚される像であると定義する.つまり,前述のAIRRによって形成されるような実像としての空中ディスプレイとは異なり,アーク3D表示による空中浮遊像は「脳が知覚する」ことで形成される疑似的な空中像と言える.観察者から基板までの距離が短い場合は,ホームセンタなどで購入できるLEDライトくらいの明るさの光源でも十分に空中浮遊像が知覚される.

図14に円弧状の線刻によって構成されるアーク3D表示の基本的な原理を説明する.透明な基板に,光の波長程度の凹凸を有する非常に細い幅の線刻を円弧状に付け,そこに単一光源によって光を入射すると,光が方向性を持って放射され,特定の場所が明るく見える.放射された光は円弧状の線刻によって反射,屈折,散乱のいずれかの成分となる.つまり,円弧状の明るく見える場所は,円弧状の線刻でいずれかの成分に分けられた光が観察者の目に届く条件を満たす場所である.光源と単眼と円弧状の傷の中心Oが一直線上にある時,観察者には円弧状の傷がすべて明るく見える.

光源と観察者の単眼と円弧状の傷の中心Oが一直線上にある場合の見え方
図14 光源と観察者の単眼と円弧状の傷の中心Oが一直線上にある場合の見え方

次に,光源と観察者の単眼を結ぶ直線が円弧状の傷の中心を通らない場合を図15に示す.光源と観察者の単眼を結ぶ直線が透明な基板と交わる点O’を中心とする円のうち,円弧状の傷との内接点P1または外接点P2が明るく見える.

光源と観察者の単眼を結ぶ直線が円弧状の傷の中心を通らない場合の見え方
図15 光源と観察者の単眼を結ぶ直線が円弧状の傷の中心を通らない場合の見え方

これを踏まえて,左右の眼で観察した場合を図16に示す.観察者の右眼ではP1RとP2R,左眼ではP1LとP2Lが輝点として知覚される.左右の眼で知覚される輝点は異なるため,両眼視差により基板の背面と前面に空中浮遊像が表示されているように知覚される.

両眼で見た場合に空中浮遊像が知覚される位置
図16 両眼で見た場合に空中浮遊像が知覚される位置

アーク3D表示は水平方向と観察距離方向に広大な視域を実現しているのが特徴である.スムーズで連続的な運動視差を原理的に有し,水平方向の観察者の移動に応じて知覚される空中浮遊像の奥行きが一定であることが知覚実験でも明らかになっている.つまり,観察者にとって光学的な実像に近い立体像が知覚できると言える.これまでに,数メートル級の飛び出し距離を持つアーク3D表示が実現されている.

3.2 脳を騙して見える3Dディスプレイ

DFD(Depth-Fused 3-D)表示とは,2枚の画像を前後2面に重ね合わせて表示し,その2枚の画像の輝度比を変化させることで,画像間で任意の奥行きを知覚できる立体錯視現象である[12].つまり,これも実像としての空中ディスプレイとは異なり,人間の脳を「騙して」知覚させる空中浮遊像である.簡単な装置構成で疲労感が少ない3D表示を実現できる方式であり,アミューズメントや広告などさまざまな場面でのディスプレイへの応用が期待される.

図17にDFD表示における奥行き知覚のモデルを示す.観察者から見て奥行き方向に,透明な2次元表示面を2枚配置する.奥行きを付与したい画像を,観察者の両眼の間の中心点を正面として奥行き方向に前後に重なり合うように表示すると,観察者には前後2面に表示された画像ではなく,奥行きのある1枚の画像として知覚される.両眼の間の中心から見て前後2面の像が完全に重なり合わない場合,DFD錯視現象は起こらない.さらに,2枚の画像の輝度比に応じて,2面の間で連続的な奥行きを知覚させることができる.

(a)DFD表示の構成,(b)観察者による奥行き知覚のモデル
図17 (a)DFD表示の構成,(b)観察者による奥行き知覚のモデル

図17の場合,観察者からは横方向に3つの四角形が並んで見えるように表示されている.観察者から見て左の四角形は前面のディスプレイに,右の四角形は後面のディスプレイに表示されている.中央の四角形のみ前面と後面で重なり合っていて,DFD表示されている状態である(図17a).DFD表示された四角形は前面に表示された四角形と後面に表示された四角形の輝度比に応じて,前後2面の間の任意な位置にあるよう,奥行きの情報が付与されて知覚される(図17b).

従来のDFDディスプレイは,図18に示すように2枚のディスプレイとハーフミラーによって構成されていた.前後2面に透明なLCDパネルを重ね,輝度比を変化させることでDFD表示を実現する手法も提案されている[13].

ハーフミラーを使用したDFD表示の構成
図18 ハーフミラーを使用したDFD表示の構成

また,2枚の空中ディスプレイを重ねることでDFD表示を実現する手法も提案されている[14].図19にその構成を示す.この構成では2枚のハーフミラーを直角に配置し,前面と後面の空中ディスプレイ形成用に2台の光源(LCDディスプレイ),2枚の再帰反射素子を必要とする.前面の空中ディスプレイは飛び出し距離を大きく取る必要があるため,デバイスの後方に配置し,後面の空中ディスプレイ用光源はデバイスの前面に配置した.光路長が大きくなることから,前面の空中ディスプレイの輝度は後面の空中ディスプレイよりもかなり低くなると考えられる.DFD表示を実現するためにはそのことを踏まえた輝度調整が必要となる.

2枚の空中ディスプレイを利用したDFD表示の構成.(a)後面空中ディスプレイ形成のための光路,(b)前面空中ディスプレイ形成のための光路
図19 2枚の空中ディスプレイを利用したDFD表示の構成.(a)後面空中ディスプレイ形成のための光路,(b)前面空中ディスプレイ形成のための光路

3.3 もう1つの3Dディスプレイ開発から得た知見

本章では,観察者に3Dディスプレイを知覚させる2つの技術について紹介した.これらは実像としての空中ディスプレイとは違い,観察者が結像位置だと知覚する空間位置には実際には何もないので,観察者は厳密にはこれらの3Dディスプレイに触れることはできない.しかしながら,これらの3Dディスプレイを操作しようとする観察者の動きをセンサにより捉えることで,タッチレス空中インタフェース化することは可能である.特にアーク3Dは,現在の技術ではインタラクティブにコンテンツを変更することは難しいが,空中ボタンを安価に実現する技術として大いに期待ができる.一方で,認知の問題であるため,知覚される結像位置や奥行きが年齢や経験によって変化する可能性が考えられる.これに関しては,開発の過程で,両者ともに連続的な運動視差を有することから,3D像が知覚しやすくなっていることが確認されている.すなわち,両眼の視力差が大きく,通常の二眼式では立体視できない方々であっても,この両者の場合には十分に知覚できることが,展示会での「DFD表示なら見える」という参加者の反応を発端として調べられている.これらは,3Dディスプレイに対するリーチングの適切な検出方法と併せて考えていく必要がある.

4.3Dディスプレイを利用する未来に向けての課題

ここまで,2.4節では空中ディスプレイ開発から得られた知見と課題を,3.3節ではもう1つの3Dディスプレイ開発から得られた知見と課題を紹介してきた.空中ディスプレイ開発では,空中像の解像度と浮遊感の演出,インタフェースとして使用する際のレイテンシが検討すべき事項として挙げられた.もう1つの3Dディスプレイ開発では,知覚される結像位置や奥行きの安定性が検討すべき事項として挙げられた.本章では,これらを利用したタッチレス空中インタフェースが我々の生活に溶け込むための,共通の課題について検討したいと思う.

エレベータの操作ボタンやATM・セルフレジの操作パネルなど,タッチレス空中インタフェースが公共空間に浸透するためには,現在の接触を要するインタフェースからスムーズに移行できることが重要となる.いくら感染拡大防止に役立つといえ,導入にそれなりのコストがかかる上に特殊な操作が必要となれば,空中インタフェースの普及は難しいだろう.基盤技術として視野角が広く複数人で視認できる狭義の空中ディスプレイを採用していることや,ステルス空中インタフェースのように,目立つ構成要素を家具や居住空間に溶け込む形に加工することは,この課題を解決するための1つのアプローチと言える.

これに加えて,国内外の展示会などを通じて痛感したのは,空中インタフェースにはユーザへの操作感のフィードバックが必要だということである.結像面に物理的なスクリーンを必要としないことが空中ディスプレイ,ならびに本稿で紹介した3Dディスプレイの長所ではあるが,同時に,ボタンを触ったり押したりする感覚がないことが,ユーザに戸惑いを与え,接触判定が発生する空間位置を学習する妨げとなっているように感じられた.この課題を解決するためには,ユーザが操作を知覚できる仕組みを1つ追加することが有効だと考えられる.光源の表示内容が変更できる場合,ユーザが接触すると空中ボタンの色や形を変えるなど,操作結果を視覚的に表現することは,追加のハードウェアなしにできる簡単な解決策の1つである.既存のデバイスにハードウェアを追加することによって,触感や温感,音を空中インタフェースに付与することも有効な解決策として挙げられる.物理インタフェースから空中インタフェースへのスムーズな移行は,3Dディスプレイが当たり前に世の中に存在し,誰もが気軽に使える未来を実現する上で欠かせない要素の1つである.

参考文献
  • 1)山本裕紹(監修):空中ディスプレイの開発と応用展開,シーエムシー出版 (2018).
  • 2)Impress Watch:セブンイレブンに空中ディスプレイの非接触セルフレジ,https://www.watch.impress.co.jp/docs/news/1384197.html (2022年1月28日)
  • 3)山本裕紹:総合報告:空中ディスプレイの概要と社会実装の動向,映像情報メディア学会誌,Vol.75, No.2, pp.181-187 (2021).
  • 4)Javidi, B., Carnicer, A., Arai, J., Fujii, T., Hua, H., Liao, H., Martínez-Corral, M., Pla, F., Stern, A., Waller, L., Wang, Q. H., Wetzstein, G., Yamaguchi, M. and Yamamoto, H. : Roadmap on 3D Integral Imaging : Sensing, Processing, and Display, Opt. Express, Vol.28, pp.32266-32293 (2020).
  • 5)Yamamoto, H., Tomiyama, Y. and Suyama, S. : Floating Aerial LED Signage Based on Aerial Imaging by Retro-reflection, Opt. Express, Vol.22, pp.26919-26924 (2014).
  • 6)アルプスアルパイン(株):世界初,アルプスアルパインと宇都宮大学が空中表示/入力デバイス「ステルス空中インタフェース」を共同開発,https://www.alpsalpine.com/j/news_release/2022/0118_01.html (2022年1月18日)
  • 7)CEATEC 2022 : CEATEC AWARD 2022受賞結果発表,https://www.ceatec.com/2022/ja/award/
  • 8)Yasugi, M., Adachi, M., Inoue, K., Ninomiya, N., Suyama, S. and Yamamoto, H. : Development of Aerial Interface by Integrating Omnidirectional Aerial Display, Motion Tracking, and Virtual Reality Space Construction, J. Robot. Mechatron., Vol.34, No.5, pp.1175-1183 (2022).
  • 9)Yasugi, M., Yamamoto, H. and Takeda, Y. : Immersive Aerial Interface Showing Transparent Floating Screen Between Users and Audience, Proc. SPIE, Vol.11402, Article No.114020O (2020).
  • 10)朝日新聞デジタル:画像が空中に浮かぶ報道展 日刊スポーツ新聞社,https://www.asahi.com/articles/ASNDW7GFGNDSUTIL06B.html (2020年12月28日)
  • 11)Suyama, S., Mizushina, H. and Yamamoto, H. : Theoretical and Experimental Perceived Depths in Arc 3D Display and Its On/Off Switching Using Liquid-Crystal Active Devices, Proc. IEEE IAS 2019, 2019-ILDC-0674 (2019)
  • 12)Suyama, S., Takada, H. and Ohtsuka, S. : A Direct-Vision 3-D Display using a New Depthfusing Perceptual Phenomenon in 2-D Displays with Different Depths, Special issue of IEICE transaction on Electronics, Vol.E85-C, No.11, pp.1911-1915 (2002).
  • 13)高田英明,陶山史朗,伊達宗和,昼間香織,中沢憲二:前後2面のLCDを積層した小型DFDディスプレイ,映像情報メディア学会誌,Vol.58, No.6, pp.807-810 (2004).
  • 14)Terashima, Y., Fujii, K., Yamamoto, H., Yasugi, M., Suyama, S. and Takeda, Y. : Aerial 3D/2D Composite Display : Depth-fused 3D for the Central User and 2D for Surrounding Audiences, ACM SIGGRAPH 2018 Posters (SIGGRAPH '18), Article 32, 1–2 (2018).
八杉公基
八杉公基(非会員)myasugi@fpu.ac.jp

2012年,京都大学大学院理学研究科修了.同年,同大学研究員.2015年,基礎生物学研究所NIBBリサーチフェロー.2018年,宇都宮大学工学部産学官連携研究員.2021年,同大学オプティクス教育研究センター特任准教授.2023年より,福井県立大学海洋生物資源学部准教授.魚類を主とする動物生態学・行動学,空中ディスプレイや画像処理などの情報フォトニクス研究に従事.博士(理学).

山本裕紹
山本裕紹(非会員)info@yamamotolab.science

1996年,東京大学大学院工学系研究科修了.同年,徳島大学助手.2009年,同大学講師.2014年,宇都宮大学准教授.2019年より,同大学工学部教授.空中ディスプレイ,超高速LEDを用いた主観的超解像表示,VR Biologyなどの情報フォトニクス研究に従事.博士(情報理工学).

陶山史朗
陶山史朗(非会員)info@yamamotolab.science

1981年,九州大学大学院工学研究科応用物理学専攻修了.同年,日本電信電話(株) NTTサイバースペース研究所 主任研究員.2007年,徳島大学教授.2021年より,宇都宮大学オプティクス教育研究センター特任教授. DFD(Depth-fused 3D)表示方式,アーク3D表示方式などの3D表示システム,脳内補完技術に関する研究に従事.博士(工学).

投稿受付:2023年3月24日
採録決定:2023年4月27日
編集担当:平井千秋(日立製作所)

会員登録・お問い合わせはこちら

会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。