Force Markers: Embossed Fiducials for Recognizing Physical Objects on Pressure-Sensitive Touch Surfaces

(邦訳:Force Markers:感圧式タッチセンサ面上に配した実物体認識のための凹凸基準マーカ)
 
韓 燦教
日本学術振興会 特別研究員(PD)/東京大学
 
キーワード
感圧式タッチセンサ 基準マーカ タンジブルユーザインタフェース(TUI)

[背景]感圧式タッチセンサの普及

[問題]平面に限られる入力インタフェースの形状とタッチ操作
[貢献]凹凸の情報を埋め込んだ実物体によるインタラクションの拡張



 近年のスマートフォンやタブレットなどの情報端末にはユーザの手によるタッチ操作を実現するため静電容量式のタッチパネルを採用していることが多い.これによりマルチタッチによるピンチやズームなど直感的な操作が可能となった.

 静電容量方式の限界として個々のタッチ点における力のかかり具合を高精細に測定するのが困難であることが挙げられる.一方,感圧式のタッチセンサ面ではタッチ点の抵抗値により圧力を算出するため,面における高精細な圧力分布を測定することが可能である.したがって,電子楽器など繊細な力加減による操作を必要とするデバイスに搭載されていて,今後の応用も期待されている.

 しかし感圧式タッチセンサも静電容量式と同様,平面の形をしているのでつかみ取ったり,握ったりといった実体感のある操作を実現することができない.本研究では,感圧式タッチ面上に配置した実物体を介してインタラクションを行うことで,実世界指向インタフェースを実現することを目的とする.従来型のキーボードやマウスのようなインタフェースでは実世界と情報空間の交流が直接には結びついてないが,実世界指向インタフェースでは実世界のモノと情報の連係が密接に行われる.

 本研究では,近年入手が容易になった3Dプリンタを用いてタッチ面上に配置する物体に凹凸の情報を埋め込む手法を検討する.感圧式タッチセンサは基本的にタッチ面上における圧力分布を白黒の画像として取り込む.したがってARマーカなどカメラで読み取るマーカと同様に,凹凸パターンの基準マーカを物体底面に作製することでタッチ面上の実物体の種類と位置を把握することができる.さらには物体の重量またはそれを触っているユーザの手によって圧力分布画像が変化するため,物体を介したインタラクションも可能となる.

 はじめに,提案の方式を適用して液体など容器の中身の量が変動する物品を管理できるシステム,BumpMarkerを提案した(図上).一般的に容器を管理する場合,保管位置と残量を同時に把握する必要があり,秤などを用いていちいち量の変化を計測する必要がある.そこで,容器の下に3Dプリンタで印刷したQRコードのような凹凸のパターンを付着し,棚の上のタッチ面上に置くことで容器の位置を把握することができる.さらには物体が置いてある部分の圧力分布から容器の重量が変動したことも同時に把握でき,冷蔵庫の中の飲み物が減ってきたら自動で注文するといったことも実現できる.また,凹凸パターンはペットボトルなどの容器の生産時に埋め込むことも可能である.

 次に,つかんで操作できる物理インタフェースへの応用としてForceStampsというシステムを提案した(図中央).形状と素材を工夫することで,重心のズレに頑健なマーカ構造を実現した.その上にさまざまな触感を持つ中間層や機械構造を作ることで,ボタンやジョイスティックなど多様な操作性の物理インタフェースを作ることができる.各物理入力はタッチ面上のどこにあっても位置が把握できるため,自由にインタフェースのレイアウトを変えられる.

 最後に構成の自由度の拡張のため,モジュール式に組み換え可能な物理インタフェースであるPneuModuleを提案した(図下).タッチ面に接しているブロックに入力機能を持つモジュールを差し込むと内部の空気パイプを通って凹凸のパターンが動的に変化する構造を構築した.これにより,接続されたモジュールの種類の認識およびユーザ入力のタッチ面への伝達を可能にした.たとえばシューティングゲームのコントローラとして応用した場合,敵の種類に応じてユーザが瞬時に武器をカスタマイズするといった体験が可能となる.

 本博士論文では,上述したように感圧タッチセンサ面上における凹凸マーカの設計指針およびそれを用いた実物体を介したインタラクションの拡張可能性を示した.


 
 

(2020年5月28日受付)
 
取得年月日:2020年3月
学位種別:博士(情報理工学)
大学:東京大学



推薦文
:(エンタテインメントコンピューティング研究会)


本論文では,タッチセンサによる圧力分布画像の新たな活用手法を提案している.3Dプリンタで凹凸パターンを印刷し,実物体の底面に貼り付け,タッチセンサ上に置くことにより,物体の配置位置に加えて,重さや人が加えている力まで計測できる.本技術の物品管理やゲームインタフェースへの応用もなされている.


研究生活


最初は物品管理システムという産業向けの応用から始まった研究でした.その後人が手に持って遊ぶ物理インタフェースへの応用ができることに着眼し,その方面への開発と研究を行ってきました.なかなかアイディアが思い浮かばず難航した時期もありましたが,振り返ってみると異なる応用例が混ざりあった面白い研究ができたと思います.最後は難関国際会議のCHIに論文が採択され賞も多数いただき,実りのある成果を残すことができました.指導教員の苗村先生をはじめ周りの先輩や後輩,誰より支えてくれた家族に感謝します.今後も学術的にも社会的にも貢献できる研究を続けていきます.