ユーザインタフェース操作履歴の高度応用に関する研究


片山拓也
神戸大学大学院工学研究科 学術推進研究員

[背景]UI操作履歴に含まれる多様な情報
[問題]ユーザビリティと機能性の向上
[貢献]実環境指向型入力エンジンの設計


 コンピュータにおけるユーザインタフェースは,コンピュータとユーザの間で情報の伝達をする媒体として両者のインタラクションの要となっている.その中で,マウスやキーボードなどに代表される入力インタフェースは,ユーザが直接操作を行う対象であるため,その操作履歴には操作に関わる情報に加えて,ユーザ自身に関わる情報がユーザの無意識下で含まれている.本研究では,ユーザインタフェース操作履歴から特徴量を抽出して,ユーザの状態や行動を推測し,それらを従来のユーザインタフェースの機能拡張に利用するシステムを構築した.

 また,行動認識技術の分野では,ユーザから収集したセンサ値を元に学習モデルを構築する際,実験室環境で得られたデータに比べて,実環境で得られたデータを利用する際に認識精度を大きく下げることが指摘されている.そこで本研究では,構築したシステムの技術を要素としてもつ,実環境指向型の入力エンジンを設計した.実環境指向型入力エンジンは,耐日常動作性,耐情報欠落性,利用センサの柔軟性の要件を満たす.

 1つ目に,キーボードの入力系列を活用したコマンド入力動作抽出,識別システムを構築した.文字入力デバイスとしてのキーボードは,目的のキーを順に押下することで入力を行うが,それ以外にもスイッチの集合体がもつアフォーダンスは複数存在するため,それらを許容することでより直観的な操作を実現する.その際,従来の文字入力デバイスとしてのキーボードのユーザビリティを保つ設計を行なった.その技術は耐日常動作性を満たし,実環境において日常動作からジェスチャ入力を抽出する技術に応用できる.2つ目に,片手用キーボードの入力文字と打鍵間隔を活用した入力補完システムを構築した.構築したシステムは,フルキーボードの入力動作を行なっている際に,片手分の打鍵情報のみを用いて入力された語を推測する.通常の半分程度の操作情報を用いて全体を推測する技術は,耐情報欠落性の要件実現のための基礎技術となる.実環境では,バッテリー切れや通信不良によるセンサ値の途切れを補う技術が必要となる.3つ目に,携帯端末の操作間隔を活用した行動推測システムを構築した.システムは,いくつかの地点に設置されたQRコードを読み込んでウェブページを閲覧したユーザの情報を収集し,そのアクセス間隔の遷移から,疲れなどによる変化を含んだ,ユーザの歩行速度の推移の推定を行う.その歩行速度推測機構をナビゲーションシステムに組み込むことで,歩行速度の変化を考慮した高度な経路探索が可能になる.
 

 
  (2013年6月13日受付)
取得年月日:2013年3月
学位種別:博士(工学)
大学:神戸大学



推薦文
:(ヒューマンコンピュータインタラクション研究会)


本論文は,PCにおけるキーボード等を用いたユーザのシステムへの入力を活用し,文字入力の補完や直観的なコマンド入力を実現した研究をまとめたものである.キーボードの単なる打鍵情報だけではなく打鍵間隔などの特徴を用いることでユーザの入力意図を高精度に推測している点で新規性・有用性とも非常に高いため,推薦する.


著者からの一言


本研究では,身近なユーザインタフェースを使って追加の機器を導入することなく,その機能性を向上させる技術を模索しました.今後は,出力インタフェースを含めたユーザの周辺情報を統合的に処理することで,既存の仕組みを用いた何か面白い仕掛けを考えていきたいです.