Extending Interaction using Hand Motor Skills and Physical Objects on Capacitive Touch Surfaces

(邦訳:静電容量方式タッチサーフェス上の実物体と手指動作を用いたインタラクション拡張)
 
池松 香
ヤフー(株) 特任研究員
 
キーワード
静電容量方式タッチサーフェス タッチジェスチャ タンジブルユーザインタフェース(TUI)

[背景]タッチサーフェスの普及

[問題]タッチサーフェスにおける画一的な入力インタフェース
[貢献]多様な手指動作を導入したインタラクション拡張手法の構築


 スマートフォンやタッチパッドなどの静電容量方式のタッチ入力機器(タッチサーフェス)は現在,最も一般的な指示装置として普及した.タッチサーフェスは,シングルタッチ,マルチタッチ,実世界におけるメタファを元にしたタッチジェスチャなど,マウスやトラックボールといった指示装置と比較して,かつてない自由な入力操作を可能にする.一方で,タッチサーフェスの二次元平面におけるインタフェースは,人の身体能力や空間認識能力のごく限られた部分を取り入れているにすぎず,いまだ改良・開拓の余地が多く残されている.本研究は,実世界で人が平面に対し行ってきた手指動作を操作に取り入れることで,タッチサーフェスにおけるインタラクションを拡張することを目的とする.

 本研究では,手指動作をタッチサーフェス操作へ導入する2つのアプローチについて検討する.第1のアプローチは,タッチサーフェス上で実物体のオブジェクトを用いる方法である.この方法は,静電容量方式のタッチセンシングの機構に着目し,電気抵抗値の変化するオブジェクトを用いて,オブジェクトに対する「なぞる,握る,潰す,曲げる,回す,かざす,押す」といった手指動作のセンシングを可能とする(図(a)). また,本センシング手法を応用し,タッチサーフェスに貼り付けるのみで,TrackPointのようなForce-to-Motionの操作を可能とする入力機器を開発した(図(b)).

 第2のアプローチは,実世界で人が行う動作をメタファとして導入し,その動作から想起される操作をタッチ入力として取り入れる方法である.これにより,操作に対するユーザの理解・認識を,単なる平面上の座標の指示ではなく,日常生活に用いるような手指動作へと変容させる.具体的には,タッチサーフェス上に表示されたデータを指で「摘む」ようにタッチし,異なるタッチサーフェス上へ「置く」ようにタッチすることで,複数デバイス間のデータの移動を実現するインタフェース(図(c)),トラックパッドなどの相対座標を基準としたタッチサーフェスにおいて,実世界で小さい紙片に文字を書き込むときのようにタッチサーフェスの「端を押さえて」入力することで絶対座標による入力モードに切り替えるインタフェース(図(d)),指をタッチサーフェスへ向けて動かし接触させる通常のタッチ入力に対し,タッチサーフェス側を動かし指へ当てるタッチ入力を導入し,指によるピンポイントな選択操作と操作対象全体を「引き寄せる」全体選択操作を切り替えるインタフェース(図 (e))を構築した.

 本研究では,上述のアプローチにより実施した5つのインタラクション拡張技法の提案,開発およびインタフェースの有用性についての評価を実施した.本研究を通じ,静電容量方式のタッチセンシングを利用するパッシブな実物体インタフェースの設計指針を示した.また,メタファの適用により生じる実世界特有の困難や制約について議論し展望を示した.


 

 

(2019年5月31日受付)
 
取得年月日:2019年3月
学位種別:博士(理学)
大学:お茶の水女子大学



推薦文
:(ヒューマンコンピュータインタラクション研究会)


本論文は,スマートフォンやラップトップPCに搭載された静電容量方式のタッチ入力機器において,実物体インタフェースや新規なジェスチャを導入し,インタラクションを拡張する手法を提案・評価している.多様な応用可能性を示し,その成果はトップ国際会議であるCHIおよびUISTのPaperとして採択されるなど,国内外で高く評価されている.


研究生活


研究室に入りたてのころに目新しかったタッチジェスチャやマルチタッチ入力に興味を惹かれ,新規なタッチジェスチャを模索しているうちに,アプリケーションのみでなくタッチサーフェスの構造やセンシング方式への知識や理解が深まりました.こうした好奇心から始まった試行錯誤は結果として研究へと発展しました.

博士課程の研究生活については,会社員として働きながら在籍していた期間があり,実質的に研究に打ち込めた期間は2年間のみでしたが,トップカンファレンスへのPaper採択,博士論文に含む5つのプロジェクトすべてが論文誌採録となったこと,また,Microsoft ResearchやYahoo! JAPAN研究所との共同研究を推進したことなど,多くの成果を残すことができました.今後の研究活動も実りあるものにしていきたいと思います.