会誌「情報処理」Vol.64 No.8(Aug. 2023)「デジタルプラクティスコーナー」

ホログラムコンタクトレンズによる究極のARディスプレイ実現の取り組み

高木康博1

1東京農工大学 

目の中に入れて使うことができるコンタクトレンズ型ディスプレイは,人体に非侵襲なARディスプレイとしては最終形態であると言える.しかし,表示画像が近すぎて目がピント合わせできない問題がある.我々は,ホログラフィ技術による立体表示を用いて,目がピント合わせできる距離に画像を表示する方法を提案している.提案法の実現に向けた取り組みについて報告する.

1.ホログラムコンタクトレンズによる究極のARディスプレイ実現の目的

1.1 人に近づくディスプレイ技術

人は外界からの情報の約8割を視覚から得ていると言われている.そのため,視覚情報を提供するディスプレイ技術は大きな発展を遂げてきた.

近年,コンピュータが作るバーチャル空間に没入する仮想現実(VR)技術のインタフェースデバイスとして頭部に装着するヘッドマウントディスプレイの実用化が進んでいる.これは,視界全体を立体映像で覆うことで,仮想空間に自身が存在しているような高い臨場感を与える.さらに,バーチャル空間と現実空間を融合する拡張現実(AR)技術で利用するデバイスとして,シースルー型のヘッドマウントディスプレイも実用化されている.これは,実風景に映像情報を重畳表示することで,現実をコンピュータで拡張できる.このように,ディスプレイが人体に近づくことで,臨場感を高めたり,新しい機能の提供が可能になる.

現在,情報機器の中心は,PCからスマートフォンへ急激に移行している.また,人々の生活様式は,大勢で同時に同じ情報を視聴する形から個人で情報を取得・発信する形へと変化した.据え置き型の大画面よりも,手で持って使えるモバイル型の方が現代人のニーズに合っている.今後,VR・AR技術が普及していく過程で,ディスプレイはさらに人に近づいていくと考えられる.ヘッドマウントディスプレイを被って日常生活を送るのは困難であるので,現在は,より薄型で軽量なスマートグラスの研究開発が行われている.さらに人との距離を狭めて人体と一体化するコンタクトレンズ型ディスプレイの研究開発も開始されている.

図1に,ディスプレイと人との距離についてまとめた.本稿では,従来技術としてヘッドマウントディスプレイとスマートグラスについて説明した後に,その先の将来技術としてコンタクトレンズ型ディスプレイ,特に我々が研究しているホログラムコンタクトレンズについて詳しく述べる.

人とディスプレイの距離
図1 人とディスプレイの距離

1.2 VR・AR 技術で用いられる視覚インタフェースデバイスの課題

1.2.1 ヘッドマウントディスプレイ

VR用のヘッドマウントディスプレイは,図2(a)に示すように,左右の目に対応して,ディスプレイ画面を虚像結像する2つの光学系で構成される.目から見た画面サイズを角度で表したのが画角であるが,VR用ヘッドマウントディスプレイでは没入感を増すために,画角を大きくすることが重要になる.しかし,画角を大きくするために光学系の倍率を上げると,画像歪みが増す問題がある.初期のヘッドマウントディスプレイは,組合せレンズを用いた複雑な光学系で画像歪みを改善しようとしたため,高価であった.これに対して,最近では,コンピュータの処理能力の向上を背景に画像歪みを画像処理で補正することで,ヘッドマウントディスプレイの低価格化が可能になった.しかし,虚像結像するためには,ディスプレイ画面をレンズの焦点付近に置く必要があるため,装置の奥行きが大きくなる問題がある.

ヘッドマウントディスプレイ:(a)VR用,(b)AR用
図2 ヘッドマウントディスプレイ:(a)VR用,(b)AR用

AR用のヘッドマウントディスプレイは,図2(b)に示すように,虚像結像光学系にハーフミラーを組み込んで,外界の風景と映像を同時に観察可能にする.目の前にディスプレイやレンズを置く必要はなくなるが,代わりにハーフミラーを置く必要があるため,やはり装置の小型化は難しい.

1.2.2 スマートグラス

日常生活で利用しやすいように小型化したAR用視覚インタフェースデバイスとしてスマートグラスの研究開発が行われている.その構造を図3(a)に示す.従来のヘッドマウントディスプレイのように実風景と映像の合成にハーフミラーを用いると,入射角と反射角が等しくなるため,装置の薄型化が難しい.そこで,スマートグラスでは,ハーフミラーの代わりにビームコンバイナ[1]を用いる.ビームコンバイナには回折格子やホログラム光学素子が利用されるが,光の回折を用いるため,入射角と反射角を異なる角度に設定でき,設計の自由度が高くなる.また,ビームコンバイナに虚像結像を行うレンズ機能を持たせることも可能であるので,虚像結像光学系の小型化が可能になる.

スマートグラス:(a)ビームコンバイナを用いた構成,(b)導波路とビームコンバイナを用いた構成
図3 スマートグラス:(a)ビームコンバイナを用いた構成,(b)導波路とビームコンバイナを用いた構成

最近では,図3(b)に示すように,導波路とビームコンバイナを組み合わせて,画像を導波路内で全反射させて伝播し,ビームコンバイナで導波路から目の方向へ取り出すスマートグラスの実現方法も提案されている[2].この場合,さらなる薄型化が可能になり,外見を従来のメガネに近づけることが可能になる.

1.2.3 コンタクトレンズ型ディスプレイ
1.2.3.1 過去の研究開発の例

人体に非侵襲なAR用ディスプレイの最終形態が,目の中に入れて使うことがきるコンタクトレンズ型ディスプレイである.ここでは,過去のコンタクトレンズ型ディスプレイ研究開発について説明する.

最初のコンタクトレンズ型ディスプレイの研究は,University of Washingtonで行われた[3].図4(a)に示すように,コンタクトレンズ内に,LEDとアンテナを内蔵して,無線給電でLEDの発光に成功している.その後,Ghent Universityより,図4(b)に示すように,コンタクトレンズ内に湾曲させた液晶デバイスを内蔵して動作させた報告があった[4].

初期のコンタクトレンズ型ディスプレイの研究:(a)University of Washington [3],(b)Ghent University [4]
図4 初期のコンタクトレンズ型ディスプレイの研究:(a)University of Washington [3],(b)Ghent University [4]

このように,初期のコンタクトレンズ型ディスプレイの研究は,コンタクトレンズ内への表示デバイスの組み込みが中心に行われた.しかし,表示デバイスが,LEDが1個,あるいは液晶素子が1画素であったため,画像を表示するには至らなかった.

1.2.3.2 像形成の課題

コンタクトレンズ型ディスプレイで画像表示を実現するためには,コンタクトレンズ内のディスプレイの画面を網膜に結像する必要がある.薄いコンタクトレンズ内で結像機構をどのように実現するかが,コンタクトレンズ型ディスプレイの像形成に関する課題となっている.最近になり,実際に画像表示を実現したコンタクトレンズ型ディスプレイに関する複数の発表があった.

Georgea Inst. Tech.は,メタサーフェスを用いた画像の表示方法を提案している[5].フラットパネル型ディスプレイの各画素に,それぞれに対応したメタサーフェスを取り付けて,画素ごとに網膜上にpixel by pixelで結像する.実際に,図5(a)に示すように, 11×11画素の画像表示に成功している.文字’F’が表示されている.

最近のコンタクトレンズ型ディスプレイの研究:(a)Georgea Inst. Tech. [5],(b)Mojo Lens [6]
図5 最近のコンタクトレンズ型ディスプレイの研究:(a)Georgea Inst. Tech. [5],(b)Mojo Lens [6]

米国のスタートアップ企業であるMojo Visionでは,直径約0.5mmの超小型LEDディスプレイを開発し,これを用いて奥行き約2mmの超小型プロジェクタを作りコンタクトレンズ内に組み込んで,実際に画像表示に成功している[6].これはMojo Lensと呼ばれ,図5(b)に示す.ただし,プロジェクタに厚さがあるため,通常のコンタクトレンズではなく強膜レンズと呼ばれる厚いコンタクトレンズで実現される.

1.3 関連技術

1.3.1 ヘルスモニタリング用スマートコンタクトレンズ

上述のUniversity of Washingtonの研究者は,Google Xに移り研究を継続したが,コンタクトレンズ型ディスプレイの実現はすぐには難しいことから,グルコースセンサを内蔵したヘルスモニタリング用スマートコンタクトレンズの開発を行っている[7].また,Ghent Universityの研究者もIMECに移り,可変瞳孔や視覚補助機能を持つスマートコンタクトレンズの開発を行っている[8].

スイスのSensimed社は,Trigger Fishと名付けられた眼圧センサを内蔵した医療用スマートコンタクトレンズを開発し,実用化している[9].眼圧を調べることで,緑内障の進行度を知ることができる.

1.3.2 スマートコンタクトレンズのデバイス技術

上記のように,現在は,医療用やヘルスモニタリング用のスマートコンタクトレンズの研究開発が行われていて,そのためのセンサデバイスの研究開発が盛んに行われている.また,無線通信や無線給電に用いるアンテナやICの研究開発も進んでいる[10].ほかには,バッテリやキャパシタに関する研究[11]やウェットな環境で動作する電気回路の研究も進んでいる.

以上のように,コンタクトレンズ内で利用できるデバイス技術の研究開発は着実に進んでいる.これらは,今後のコンタクトレンズ型ディスプレイの実現において有益であると考える.

2.ホログラムコンタクトレンズの実現方式

2.1 構成と像形成の原理

ここからは,筆者が行っているホログラフィ技術を用いたコンタクトレンズ型ディスプレイ[12]の実現方法について説明する.

最初に,ホログラムコンタクトレンズの原理を説明する.図6(a)に示すように,コンタクトレンズ内のディスプレイ画面に対しては,目は近すぎてピント合わせできない.そこで,同図(b)に示すように,ディスプレイにはホログラムパターンを表示して,ホログラムが持つ立体表示能力を用いて,目から離れた位置に画像を立体表示することで,画像への目のピント合わせを可能にする.ホログラムは物体から発せられる光の波面を2次元パターンとして記録したもので,これにレーザ光を照射すると物体の波面が再生される.また,ホログラムとして透明な位相型ホログラムを用いることで,シースルー表示が実現できる.位相型ホログラムは,光の位相のみを変調し振幅は変調しないため,原理的には光の吸収はなく透明なホログラムである.

ホログラフィ技術を用いたコンタクトレンズ型ディスプレイの実現方法:(a)課題,(b)解決方法
図6 ホログラフィ技術を用いたコンタクトレンズ型ディスプレイの実現方法:(a)課題,(b)解決方法

図7に,ホログラムコンタクトレンズの構造を示す.ホログラム表示に用いるディスプレイを空間光変調器と呼ぶが,位相変調型の空間光変調器は,特定方向に振動する直線偏光を変調し,それと直交方向に振動する直線偏光は変調しない.レーザーバックライトは,変調方向に直線偏光したレーザ光で空間光変調器を照明する.レーザーバックライトの手前に配置した偏光子で,外界からの光のうち非変調方向の直線偏光を通過させることで,外界からの光が位相変調されないようにして,シースルー表示を実現する.

ホログラムコンタクトレンズの構造[12]
図7 ホログラムコンタクトレンズの構造[12]

2.2 透明ホログラムによる像形成

位相型ホログラムによる像形成について簡単に説明する.図8に,位相変調型空間光変調器で発生した位相分布が空間を伝搬する際に生じる光の振幅分布と位相分布の変化の様子を示す.最初は位相分布だけを持ち振幅は一定であるが,空間を伝搬すると回折現象により波面が変形し,振幅分布が生じる.同時に,位相分布も変化している.人間の目は光の位相は知覚せず強度を知覚し,光の振幅分布の2乗が強度分布を与える.ある距離だけ伝搬したときに目的とする画像の強度分布が形成されるように,位相型ホログラムの位相分布を計算で求めることができる.位相分布の計算は,非線形問題となるが,反復アルゴリズム[13]やニューラルネットワーク[14]を用いた計算方法が知られている.

位相型ホログラムによる像形成
図8 位相型ホログラムによる像形成

2.3 光学的シースルー特性

ホログラムコンタクトレンズは,空間光変調器を通して実風景を見る構成を用いることで,装置の小型化と薄型化を実現している.しかし,このような構成を用いると,空間光変調器が持つ画素構造の周期性により,外界からの光が回折され,高次回折による繰り返し画像が発生する問題がある.図9に繰り返し画像の発生をシミュレーションした結果を示す.ただし,これは,空間光変調器が目の瞳全体を覆うとして,繰り返し画像の発生を最大にした場合の結果である.ここで,pは画素ピッチで,aは開口率である.開口率は,画素ピッチに対する画素幅の比として定義される.図では分かりにくいが,繰り返し画像が発生している.たとえば,a=0.8の場合に注目すると,上下左右に弱い繰り返し画像が発生していることが分かる.画素ピッチpによって繰り返し画像の発生間隔が決まり,開口率aを1に近づけると繰り返し画像の発生が小さくなりほぼ知覚されなくなることが分かる.以上のことから,ホログラムコンタクトレンズに用いる空間光変調器では,開口率を大きくすることが重要であることが分かる.

繰り返し画像の発生[12]
図9 繰り返し画像の発生[12]

2.4 コンタクトレンズへの内蔵の可能性

コンタクトレンズの厚さは角膜に対応する光学部と呼ばれる中心部分で最も薄くなり,0.15〜0.25mmである.ホログラムコンタクトレンズでは,この部分に図3に示した構造を形成する必要があるので,その実現の可能性について述べる.

光の位相変調には,液晶を用いた空間光変調器を用いる.この場合の液晶層の厚さは3〜5μmで,シリコンバックプレーンに必要な厚さは数十μmである.偏光子は,ポラロイドでもワイヤーグリッド型でも,厚さは数μmで実現できる.厚さが0.1 mm程度のレーザーバックライトが必要になり,これについては過去に参考になる例はないが,レーザ光が内部を全反射して伝搬する導波路構造のものが有望である.1.2.2のスマートグラスで述べた導波路技術が利用できると考える.光源として用いる半導体レーザに加えて,バッテリー,アンテナ,集積回路などは,コンタクトレンズ周辺のベゼル部と呼ばれる厚さが約0.5mmの部分に配置できると考える.

次に,消費電力について考える.前述のすでに実用化されている医療用スマートコンタクトレンズは,利用時は常時無線給電する必要があり,目の周りに送電用のアンテナを配置する必要がある.コンタクトレンズ型ディスプレイは日常的に利用することを考えると,送電用のアンテナを必要とせず,現在のスマートフォンのように充電池を備えて無給電で利用できることが好ましい.そのため,全体の消費電力を小さく抑える必要がある.液晶素子は,液晶層には電流は流れず,印加電場を変化させて画像表示を行うこと,画面の大きさが直径数mmと小さいことから,消費電力は数十μWと小さくなることが予想される.過去に,画面サイズが1.3インチの液晶ディスプレイで消費電力30μWを実現した例がある[15].レーザ光は直接目に入射するので,半導体レーザの光出力は数十nWと小さくてよい.しかし,このような微弱出力の半導体レーザを実現するためには,数十nAの超低閾値電流で発振するレーザの開発が必要になる.ホログラム計算は計算量が多いので,コンタクトレンズ内で行うのは不可能で,スマートフォン等で計算したホログラムパターンを無線伝送することになる.この場合,低消費電力な送受信回路が必要になる.

2.5 原理確認実験と評価

ホログラムコンタクトレンズの像形成とシースルー表示の実現に関する基礎実験について説明する.

実際にコンタクトレンズに内蔵できるような小型な空間光変調器は存在しないため,市販の空間光変調器を用いて実験台の上で実験を行った.市販の位相変調型の空間光変調器は反射型しか存在しなかった.そのため,透過型の振幅変調型の空間光変調器を用いて,レーザ光を円偏光にすることで位相変調を実現したが,最大位相変調量は1.5πとなった.実験装置の写真を図10に示す.実験結果を図11に示すが,空間光変調器を通して,ホログラムの再生像と実風景を同時に観察することができた.大文字”AR”と小文字”ar”を異なる距離に表示した結果である.実験結果から,繰り返し画像の発生が確認できる.これは,実験に用いた空間光変調器の開口率が0.7と,1に比べて小さい値であったためである.

空間光変調器を用いた実験装置[12]
図10 空間光変調器を用いた実験装置[12]
シースルー画像:ピント位置(a)1.5m,(b)2.0m [13]
図11 シースルー画像:ピント位置(a)1.5m,(b)2.0m [13].

次に,コンタクトレンズを用いた実験について説明する.この場合,ホログラムは電子的なものではなく,フィルムに記録したものを用いた.位相型ホログラムをフォトポリマーに記録して,ハードコンタクトレンズに取り付けた.フォトポリマーは,現像に湿式処理が不要な位相型ホログラムの記録フィルムである.図12(a)に,ホログラムを取り付けたコンタクトレンズを示す.同図(b)に,コンタクトレンズの直後にカメラをおいて撮影した結果を示す.この場合も,風景と映像の同時観察が可能であることが確認できる.

コンタクトレンズとホログラムフィルムを用いた原理確認実験:(a)実験装置,(b)シースルー画像
図12 コンタクトレンズとホログラムフィルムを用いた原理確認実験:(a)実験装置,(b)シースルー画像

3.ホログラムコンタクトレンズの実現への取り組みから得た知見

以上のように,ホログラムコンタクトレンズの研究開発は,実験台の上で原理確認実験が終わった段階である.しかしながら,多くの反響があり,その実現に対する世の中の期待が大きいことを実感した.スマートフォンにより情報が手のひらから得られるようになったが,ホログラムコンタクトレンズにより情報が目に直接映し出されるようになる.実現にはさまざまなハードルが存在するが,世の中を変えるポテンシャルがある技術であると考える.

2.4節でも説明したが,これまでのホログラムコンタクトレンズを実現するために必要なデバイス技術に関する調査を通して,必要なデバイス技術は現状の技術の延長線上にあることが分かった.特に,液晶素子については,画面サイズが最大で目の瞳孔サイズと小さいため,消費電力は極めて小さい.また,バッテリーに関しては,最近の性能向上が著しい.ただし,両者ともウェットな環境での動作については課題がある.いずれにしても,ホログラムコンタクトレンズの実用化のためには関連する広い分野の技術開発が必要になる.

4.視覚拡張などへの応用

ホログラムコンタクトレンズは,目に入れておくだけで,現実世界にさまざまな情報を映し出すことができる.そのため,目的地までのナビゲーション情報,現在地に関する情報,目の前にいる人の氏名や所属などの情報,外国語の翻訳結果の表示などの応用が考えられる.特に,ホログラムコンタクトレンズは,ほかのコンタクトレンズ型ディスプレイとは異なり,画像の表示距離をコントロールできるので,実際の物体と同じ距離に情報を表示することができる.つまり,物体に目のピントを合わせると,自然に画像にもピントが合う.ただし,このような物体の位置に合わせた画像表示を実現するためには,物体までの距離を何らかの方法で知る必要がある.

コンタクトレンズ型ディスプレイは,従来のヘッドマウントディスプレイやスマートグラスのようにデバイス自体が視野を遮ることがないため,利用者はデバイスの存在を意識しなくなることが考えられる.スマートフォンなどの外部機器との連携を強めて,AIで学習した利用者の特性に合わせてカスタマイズした情報を適切なタイミングで表示すれば,利用者はあたかも視覚に新しい機能が追加されたように感じるかもしれない.つまり,人間拡張技術の1つとして位置付けることができる可能性がある.

参考文献
  • 1)Kress, B. C. and Chatterjee, I. : Waveguide Combiners for Mixed Reality Headsets: a Nanophotonics Design Perspective, Nanophotonics, Vol.10, No.1, pp.4-74 (2021).
  • 2)Mukawa,H., Akutsu,K., Matsumura, I., Nakano, S., Yoshida, T., Kuwahara, M., Aiki, K. and Ogawa, M. : A Full Color Eyewear Display Using Holographic Planar Waveguides, SID 08 DIGEST 2008.
  • 3) Lingley,A. R., Ali, M., Liao,Y., Mirjalili, R., Klonner, M., Sopanen, M., Suihkonen, S., Shen, T., Otis, B. P., Lipsanen, H. and Parviz, B. A. : A Single-pixel Wireless Contact Lens Display,J. Micromech. Microeng., Vol.21, No.12, 125014 (2011).
  • 4)Smet, J. D., Avci, A., Joshi, P., Schaubroeck, D., Cuypers, D. and Smet, H. D. : Progress Toward a Liquid Crystal Contact Lens Display, J. Soc. Inf. Disp., Vol.21, No.9, pp.399-406 (2013).
  • 5)Lan, S., Zhang, X., Taghinejad, M., Rodrigues, S., Lee, Z-T, Liu, Z. and Cai, W. : Metasurfaces for Near-Eye Augmented Reality, ACS Photonics, Vol.6, No.4, pp.864-870 (2019).
  • 6)Wiemer, M. and Winoto, R. : Mojo Lens - AR Contact Lenses for Real People, 2021 IEEE Hot Chips 33 Symposium (HCS), Palo Alto, CA, USA, pp.1-56 (2021).
  • 7)Farandos, N. M., Yetisen, A. K., Monteiro, M. j., Lowe, C. R. and Yun, S. H. : Contact Lens Sensors in Ocular Diagnostics, Advanced Healthcare Materials, Vol.4, No.6, pp.792-810 (2015).
  • 8)Vásquez Quintero, A., Pérez-Merino, P. and De Smet, H. : Artificial Iris Performance for Smart Contact Lens Vision Correction Applications, Sci. Rep., Vol.10, 14641 (2020).
  • 9)Faschinger, C. and Mossböck, G. : Continuous 24 h Monitoring of Changes in Intraocular Pressure with the Wireless Contact Lens Sensor Triggerfish. First results in patients, Der Ophthalmologe, Vol.107, pp.918-922 (2010).
  • 10)Yao, H., Liao, Y., Lingley, A. R., Afanasiev, A., Lähdesmäki, I., Otis, B. P. and Parviz, B. A. : A Contact Lens with Integrated Telecommunication Circuit and Sensors for Wireless and Continuous Tear Glucose Monitoring, J. Micromech. Microeng., Vol.22, 075007 (2012).
  • 11)Nasreldin,M., Delattre, R., Ramuz, M., Lahuec, C., Djenizian, T. and de Bougrenet de la Tocnaye, J.-L. : Flexible Micro-battery for Powering Smart Contact Lens, Sensors, Vol.19, 2062 (2019).
  • 12)Sano, J. and Takaki, Y. : Holographic Contact Lens Display That Provides Focusable Images for Eyes, Opt. Express, Vol.29, pp.10568-10579 (2021).
  • 13)Gerchberg, R. W. and Saxton, W. O. : A Practical Algorithm for the Determination of Phase from Image and Diffraction Plane Pictures, Optik, Vol.35, pp.237-246 (1972).
  • 14)Horisaki, R., Takagi, R. and Tanida, J. : Deep-learning-generated Holography, Appl. Optica, Vol.57, No.14, pp.3859-3863 (2018).
  • 15)久保田靖:モバイル機器向け液晶ディスプレイの超低消費電力化技術,生産と技術,Vol.62, No.3, pp.37-42 (2010).
高木康博
高木康博(非会員)ytakaki@cc.tuat.ac.jp

1986年 早稲田大学理工学部卒業,1988年 同大学院理工学研究科修士課程修了,1991年 同理工学部助手,1992年 同大学院理工学研究科博士後期課程修了、博士(工学)取得,1994年4月 日本大学文理学部専任講師,2000年 東京農工大学大学院助教授,2014年 同大学院教授.

投稿受付:2023年3月2日
採録決定:2023年3月29日
編集担当:戸田貴久(電気通信大学)

会員登録・お問い合わせはこちら

会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。