会誌「情報処理」Vol.63 No.11(Nov. 2022)「デジタルプラクティスコーナー」

エクストリームユーザの意見に基づくユーザインタフェース開発と社会実装
─ろう者とともに開発した音を身体で感じる装置Ontennaの事例等─

本多達也1  馬場哲晃2  岡本 誠3

1富士通(株)  2東京都立大学  3公立はこだて未来大学 

ろう者(聴覚障がい者)などのエクストリームユーザに対するデザインリサーチとして,参加型デザインやインクルーシブデザインといった理論や方法がこれまで数多く研究されてきた.しかし,これらの理論や方法を用いても,スポット的な製品開発や,単発的なワークショップ実践に留まり,デザインプロセスから生じたプロダクトが社会実装された事例はきわめてまれであった.Ontenna(オンテナ)は髪の毛や耳たぶ,えり元や袖口などに身に付け,振動と光によって音の特徴を身体に伝えるアクセサリー型の装置である.Ontenna本体に実装されたコンデンサマイクが外部環境音を取得し,入力信号に合わせて即時に振動モータおよびLEDを駆動/発光させる.それにより,ユーザは音のリズムやパターン,強弱といった特徴の知覚が可能である.2016年からろう者とともに研究開発を行い,2019年に製品化された.2022年1月時点において,全国聾学校長会に所属するろう学校の約8割に導入されている.そこで,本稿では,ろう者とともに研究開発を行い,社会実装に成功したOntennaのデザインプロセスについて明らかにする.さらに,エンタテインメント分野での活用・プログラミング学習・アート体験・ワークショップといった応用事例について述べ,社会実装に必要な要素について考察を行う.最後に,Ontennaのデザインプロセスを参考に開発したユーザインタフェースである「エキマトペ」について報告する.

1.Ontennaの社会実装

1.1 音をからだで感じるユーザインタフェースOntenna

ろう者(聴覚障がい者)にとって音のリズムやパターン,大きさ等の特徴を知覚することは一般に困難である.そのため,発話練習で自分の声の大きさを調節することや,ダンス練習時に周りとリズムを合わせることが難しい.また,映画館に訪れた際には内容をテキストなどの視覚情報を頼りに鑑賞しなければならないほか,スポーツ会場ではその場の声援や盛り上がり等の熱量を感じ取ることが困難なため,健聴者の楽しみ方に倣うだけでは臨場感や一体感が大きく損なわれる.

筆者は大学時代にろう者と出会ったことで手話を学習し,手話通訳のボランティアや手話サークルの立ち上げ,NPO法人の運営などをろう者とともに行ってきた.手話を第一言語とするろう者を初めて見たとき衝撃を受け,その豊かな表現や表情に惹かれ,活動をともにした.デザインやテクノロジを用いてろう者に音を伝えたいという想いから,2012年より音をからだで感じるユーザインタフェース「Ontenna(オンテナ)」[1]の研究をエクストリームユーザであるろう者とともに開始した(図1).Ontennaの名前の由来は,音のアンテナである.なお,エクストリームユーザとは,極端な行動パターンやこだわり,問題意識や環境を抱えるユーザのことを意味し,ろう者は聴覚に頼らず音を知覚しようとするエクストリームユーザである.

音をからだで感じるユーザインタフェース「Ontenna」.画中心人物の頭部,右人物の襟元に装着されているのがOntennaの本体.
図1 音をからだで感じるユーザインタフェース「Ontenna」.画中心人物の頭部,右人物の襟元に装着されているのがOntennaの本体.

音の特徴を視覚情報に変換し,ろう者へ提示する研究はこれまでに数多く行われてきた.しかし,日常的に視覚情報に依存して生活をしているろう者にとって,さらに音情報を視覚的に伝達するには視覚への負荷が増大する問題がある.一方,音を触覚情報に変換してろう者へ伝える研究も数多く存在する.しかし,これらの装置を装着する場合,手や腕,足などの動作に制限が生じてしまい,手話での会話や身体を動作する際にユーザの負担となる恐れがある[2],[3],[4],[5],[6],[7],[8].

1.2 Ontennaのデザインプロセス

ろう者にとって最適なユーザインタフェースをデザインするために,インクルーシブデザイン手法のほか,3Dプリンタやレーザーカッタ,Arduinoといったデジタルファブリケーション技術を用いてクイックプロトタイピングを繰り返し行うことで,ろう者の潜在的なアイディアや意見を抽出した.それぞれのプロタイプにおける特徴,試作機体験者,インタビュー期間と頻度,試作機実装関係者,ユーザから得られた意見,次の試作機に向けた検討内容について表1にまとめて示す.

表1 Ontennaプロトタイプの変遷.表左の2014年から右の2017年までの4年間のプロトタイプ変遷を時系列にまとめた.
Ontennaプロトタイプの変遷.表左の2014年から右の2017年までの4年間のプロトタイプ変遷を時系列にまとめた.

2017年より神奈川,大阪,茨城のろう学校へ約1カ月間の貸し出しを行い,実際の現場でどのように使用されているのか検証した(図2).ろう学校の教職員からは,Ontennaを使用するたびにアンケートへ記載することや,定期的なビデオインタビュー調査への協力を得た.その結果,操作の煩雑さ,充電の不便さ,クリップ部分の弱さなどが問題点として挙げられた.さらに,生徒からは「人工内耳をしているため,髪の毛にはつけたくない」「耳たぶの方が分かりやすい」「襟元に付けたい」といった意見があり,装着方法がユーザによって大きく異なる結果となった.そのため,服や腕,耳たぶなどにつけやすいようクリップ部を変更するなどの改良設計を進めた.一方,ろう学校の教職員から「普段声を出さない生徒が積極的に声を出すようになった」「普段音に興味のない生徒が興味を持つようになった」「みんなでリズムを取りやすくなった」といったポジティブな意見も得られた.

ろう学校での実証実験の様子
図2 ろう学校での実証実験の様子

1.3 製品化

Ontennaは,髪の毛や耳たぶ,えり元や袖口などに身に付け,振動と光によって音の特徴を,からだで感じるユーザインタフェースである(図3).60〜90dBの音圧を256段階の振動と光の強さに変換して音の特徴を伝達する.音源の鳴動パターンをリアルタイムに変換することで音のリズムやパターン,大きさを知覚することが可能である.なお,音の大きさの目安として,90dBはカラオケ音・犬の鳴き声・人の声(怒鳴り声),80dBは走行中の電車内・救急車のサイレン・人の声(かなり大きな声),70dBは高速走行中の自動車内・騒々しい教室の中・セミの鳴き声・人の声(大きな声),60dBは走行中の自動車内・普通の会話・デパートの店内・人の声(普通の声)である.

左:Ontenna,右:Ontennaコントローラ
図3 左:Ontenna,右:Ontennaコントローラ

Ontennaコントローラーは,通信機能により複数のOntennaを同時に制御することが可能である.920MHz帯の電波を用いることで混線が少なく, 電波の届く半径約50mの範囲であれば何個でもOntennaを制御できる.また,AUXやMIC接続を行うことで複数のOntennaに音情報を伝達することも可能である.本システムの仕様を表2に示す.

表2 スペック
スペック

1.4 ろう学校での活用

ろう学校の指導者は,自ら声を発してOntennaが点灯する様子を提示した後,生徒たちにLEDを点灯させるように指示をした.すると,生徒たちはOntennaを発光させようと,以前よりも積極的に声を出すようになった.さらに,声の大きさによって光や振動の強さが変わることを理解し,徐々に大きくしたり小さくしたりと声をコントロールできるようになった(図4).

左:Ontennaを用いた発話練習の様子,中央:Ontennaを用いたリコーダ練習の様子,右:Ontennaを用いたダンス練習の様子
図4  左:Ontennaを用いた発話練習の様子,中央:Ontennaを用いたリコーダ練習の様子,右:Ontennaを用いたダンス練習の様子

音楽の授業では,Ontennaを使ってリコーダーを演奏しながら息の強弱を調整することができた.また,ダンスの授業では,コントローラを用いて複数の生徒にリズムを伝えることで,動きを同期させることが可能となった.ろう学校の指導者からは,「全員でダンスのリズムをあわせる際に,カウントが取りやすくなった」「1人ひとりに対してリズムを的確に指示できるため,指導がしやすくなった」といった意見を得た.

1.5 エンタテインメント分野での活用

Ontennaはエンタテインメント分野でも活用されている.たとえば,サッカーの試合観戦でOntennaを使用したところ,聴覚障がい者からは,「応援のリズムが分かった」「ペナルティーキックの際には会場全体が静まり返る緊張感が伝わってきた」などの意見を得た.狂言の鑑賞では,「声の抑揚を感じられた」「ステージの足音まで伝わってきた」といった声があった.また,タップダンスのイベントでは,「タップのリズムを体で感じられた」「振動と光がダンスと合っていて楽しかった」という意見を得た.さらに,健聴者からも,「振動があることでより臨場感を感じることができた」「光による一体感を感じてとても楽しかった」といった反応を得た.卓球の試合では聴覚障がい者から,「ラリー音のリズムを体感できて楽しかった」「ネットに当たったときやサーブのときなど,音のリズムの違いを感じることができた」という感想があった.一緒に参加した健聴者からは,「視覚や聴覚だけではなく触覚があることで,より臨場感を感じた」「普段は音が小さいラリー音を,より強調して感じることができた」といった声があった.各イベントのシステム構成を図5に示す.

左上:Ontennaを使ったサッカー観戦,右上:Ontennaを使った狂言鑑賞,左下:Ontennaを使ったタップダンス鑑賞,右下:Ontennaを使ったピンポン鑑賞
図5 左上:Ontennaを使ったサッカー観戦,右上:Ontennaを使った狂言鑑賞,左下:Ontennaを使ったタップダンス鑑賞,右下:Ontennaを使ったピンポン鑑賞

1.6 Ontennaプログラミング機能

2020年12月,日本国内のろう学校の約8割以上に導入されているOntennaを用いたプログラミング教育環境を無償公開した.ビジュアルプログラミングツールであるスクラッチ☆1を用いて,OntennaのLEDの光の色や振動モータの強さを変更可能なアプリケーションを開発した(図6).ろう学校の生徒がOntennaを用いてプログラミングを学ぶことで,普段感じている課題に対して自らプログラミングによって,課題を解決する能力の向上を目指した.

左:プログラミング環境「Ontenna」,右:Ontennaに自分のアイディアを書き込む聴覚障害者の生徒
図6 左:プログラミング環境「Ontenna」,右:Ontennaに自分のアイディアを書き込む聴覚障害者の生徒

本システムを導入した4校・7クラスに対してアンケートを実施した.10点を最高,1点を最低として,10段階評価で回答を得た.その結果,システムの有用性が示された(図7).ろう学校の児童が,普段感じている課題に対して自らOntennaをプログラミングすることで,課題解決能力の向上を目指した.ろう学校での実践や,Ontennaプログラミング教育環境を導入した学校へのアンケート調査により,Ontennaプログラミング教育環境の有用性について示された.さらに,金銭面で導入の難しかった,デバイスを用いたプログラミング教育も,すでにろう学校の環境として存在するOntennaとPCを用いることで,導入コストを下げることが可能となった.また,指導計画や授業スライド,ワークシートなどを無償配布することで,教員の学習コストを軽減することができた.

アンケート調査結果
図7 アンケート調査結果

1.7 Ontennaアートワークショップ

2021年7月,Ontennaのプログラミング機能を用いて,香川県立聾学校の生徒たちとともに,香川県・豊島にあるChristian Boltanskiの作品「心臓音のアーカイブ」[9]を対象に,Ontennaで心臓音を感じるアートワークショップを実施した.生徒たちは,前節のOntennaプログラミング機能を利用して,自分好みの光や振動にプログラミングしたOntennaを装着し,作品を鑑賞した(図8,9).参加した生徒からは,「自分でプログラミングをしたことで,もっと作品に興味を持てるようになった」「1人ひとりの色が違ってワクワクした」「視覚・触覚で楽しめた」といった声を得ることができた.さらに,ともに参加した豊島中学校の生徒と聾学校の生徒が,Ontennaの振動や光を通して作品の感想を述べたり,感じ方の違いを確かめ合ったりといった,新たなコミュニケーションが生まれた.

プログラミングレクチャーを受ける香川県立聾学校の生徒
図8 プログラミングレクチャーを受ける香川県立聾学校の生徒
Ontennaを用いて「心臓音のアーカイブ」のハートルームを鑑賞する香川県立聾学校の生徒の様子
図9 Ontennaを用いて「心臓音のアーカイブ」のハートルームを鑑賞する香川県立聾学校の生徒の様子

ワークショップに参加した豊島中学の生徒のほとんどは,ろう者に出会ったことが初めてであった.ワークショップ実施中,身振り手振りや筆談,覚えたての手話を使って一生懸命やり取りし,次第に打ち解けていく様子を見ることができた.生徒からは「耳が不自由だから,喋るのが苦手だから仲良くなれないなんて絶対にない」「最高の友だちができた」といった声が得られた.普段は触れ合うことのない聾学校と島の学校の生徒同士がともに活動することで,生徒自らが「テクノロジーの可能性」や「障害とは何か」について考えるきっかけを作り出した.なお,本アートワークショップの様子は,2021年9月1日よりYouTubeで公開を行った☆2

2.社会実装に必要な要素の考察

ろう者などのエクストリームユーザに向けた製品やデバイスを社会実装する上での課題は,ユーザや市場規模の小ささ,コスト回収の難しさなどが挙げられる.結果として,製品単価が上昇し,日常生活を助けるはずの福祉機器が,金銭的コスト面からは当事者には初期投資リスクとして生活を圧迫してしまう.そのため,多くの福祉機器は助成金などを活用して購入される場合が一般的である.社会的責任とビジネスの2軸を両立させるため,Ontennaの社会実装においては,ろう者だけではなく,健聴者にも適応可能な応用方法について検討を行った.エンタテインメント分野,教育,アートなどの観点をベースとして,研究から社会実装へのアプローチを実践した.本章では,これまでに示したOntennaのデザインプロセスや応用事例より,福祉機器の社会実装に必要な要素についての考察を述べる.

2.1 当事者とともにデザインする

エクストリームユーザに向けた製品やデバイスの開発プロセスにおいて,当事者の参加は不可欠である.参加型デザインやインクルーシブデザインに代表されるように,ユーザのニーズや意見を引き出すための理論や手法研究はこれまでに数多く提案されてきた.

山内は,参加型デザイン研究におけるさまざまな手法と倫理的配慮の充実について報告している[10].手法面では,(1)現実から離れて創造的に議論するワークショップ,(2)カードを利用した情報整理とデザイン,(3)紙で作ったモックアップによるデザイン,(4)エスノグラフィやカルチュラルプローブ(Cultural Probe)など利用者にフォーカスした情報収集手法,(5)社会科学からのアプローチとして情報システム(Information Systems)研究がある.(5)では利用者の参加の要素や測定,参加とシステム開発の結果との関係,参加のプロセスモデルなどの検証が行われてきた.塩瀬ら,安斎らはインクルーシブデザインの特徴と研究手法を示している.インクルーシブデザインの特徴について塩瀬らは,調査分析や基本デザインといったデザインプロセスの早い段階からリードユーザが積極的に参加できる形態を取ることを示した[11].インクルーシブデザインの研究手法について安斎らは,「共感的理解」を持ちながらコミュニケーションを取るアイスブレイク手法を提案した[12].

これらの提案はいずれも,当事者とともにデザインを行うための倫理や手法研究である.当事者に受け入れてもらえなければ,それは市場規模の大小にかかわらず,社会実装は困難である.Ontennaのデザインプロセスで最も重要としていたことは,ろう学校の生徒や教員とともにデザインすることである.そのため,開発したプロトタイプは即座に当事者に使用してもらい,フィードバックを得るよう努めた.このデザイン開発過程でのポイントは,当事者ユーザの中でも,特に真摯に協力してくれるユーザを獲得することである.何度もプロトタイプに対してフィードバックを行う中でも,誠意を持って意見を述べるユーザを見つけ,そのユーザに対して真のニーズを満たすプロダクトを作り上げることで,市場に受け入れられるプロダクトをデザインすることができると考える.

2.2 課題解決から価値創造へ

福祉機器における開発動向や社会実装における成功プロセスは,これまでにも多く考察がなされてきた.福田らは,福祉機器開発プロジェクトの成功を,「高齢者や障害者らにとって真に有益な機器を開発した」「何らかの研究開発要素を含み,これまでにない新しい機能を実現した」「プロジェクトの終了後に速やかに事業化を実現した」という3点で定義し,福祉機器開発の成功シナリオについての考察を行った[13].秋庭は,障害者用福祉機器開発における市場特性と成功要因を分析した[14].その分析によると,市場特性として,ニーズは確実に存在するが市場規模が小さく,かつ成長の見込みも小さく,顧客の購買力も高くないことを示した.また,成功要因としては,(1)小ロットに対応可能な生産システムの利用,(2)既存技術の活用,(3)独自方法による迅速な市場への浸透と意思決定を示した.この分析で秋庭は,(株)ナムコの障害者用携帯型意思伝達装置「トーキングエイド」を事例として取り上げ考察を行った.

これらの福祉機器開発プロセスは,ユーザを当事者のみに絞った場合が多く,ユーザとともに作り上げた製品やデバイスを,ほかのユーザにも適応することは想定されていなかった.

一方,Ontennaの場合,エンタテインメント分野,教育,アートなどの観点より取り組んだ応用事例でも示したとおり,「Ontennaはろう者にとっては音感覚代行装置であり,健聴者にとっては触覚拡張型の音感覚知覚装置である」という位置付けである.そのため,ろう者と健聴者が同じ空間において使用することができ,イベントやワークショップでは同じ感動や感情を共有することが可能である.それこそが,補聴器や人工内耳とは大きく異る点である.Ontennaの活動で大切にしてきたことは,「ろう者と健聴者がともに楽しむ」というコンセプトである.これらの発想は,従来のユーザが抱える課題を引き出し,解決していくような「課題解決」のアプローチとは異なる.ユーザとデザイナーが一緒になり,デザインすることで見える「価値創造」が,社会実装における重要な要素である (図10).エクストリームユーザに向けた企業活動は,社会的善意とビジネスとの二人三脚とも言うべき,微妙なバランスの上に,その活動が行われている[15].しかし,「課題解決」から「価値創造」という考え方は,限定的な市場を広げ,ビジネスとしても成立させるポテンシャルがある.実際,Ontennaプロジェクトにおいては,聴覚障がい者だけではなく健聴者に対して,Ontennaの振動による臨場感や光による一体感が付加価値となり,音楽イベントや演劇などの演出に導入されることとなった.このように,Ontennaは健聴者もターゲットとしたイベントモデルで収益を示し,ビジネス化に繋げた.課題解決から価値創造へという思考は,当事者のみならず,より多くの人にとっての体験価値を向上させる可能性があると考える.

課題解決から価値創造へ
図10 課題解決から価値創造へ

2.3 グランドデザインの実践

水野らは,平成時代以後の新たなデザイナーはユーザ「参加」を実現するための技術者(技術的可能性を探索し,問題解決を図る),政治家(制度的可能性を探索し,問題解決を図る),経営者(ビジネスモデルを探索し,問題解決を図る)に加え,宗教家(規範や心理に働きかけ,問題解決を図る)のような役割が期待されると述べている[16].このように,ユーザとともに製品やデバイスをデザイン・開発するだけではなく,その製品やデバイスを使用するための動機,機会,環境そのものを含めたグランドデザインが必要となる.

Ontennaプロジェクトでは,製品を開発して全国の聾学校に普及させるだけではなく,Ontennaを用いたプログラミング教育環境(プログラミング機能,教育指導案,スライド)などを無償公開することでOntennaを使用する機会を提供したほか,音楽イベントやアートワークショップなどを開催し,情報発信や機会創出を積極的に行った.特に,2016年より継続的に行ってきたワークショップでは,聴覚障がい者のニーズを発掘する場だけではなく,健聴者からもOntenna利用の可能性を引き出す場として重要な役割を果たした.ユーザ体験全体を設計し,行動を作り出すというグランドデザインの考え方は,社会実装を行う上で,非常に大きな意味を持つと考える.

2.4 信頼と共感のデザイン

社会実装を行う上で,ユーザにとっての安心安全なプロダクト設計は必須条件である.研究段階で制作するプロトタイプとは大きく異なり,実生活で使用するための量産設計を行う必要がある.Ontennaプロジェクトでは,日本の大手製造メーカの安全基準によって量産設計され,工場での生産,品質チェックの工程を経て,市場に流通している.落下耐性試験や,出荷前の回路や筐体,部品や包装などの品質管理が施されている.さらに,イラスト入りのマニュアルや操作動画,Q&Aを作成してOntennaのWebページや動画サイトにて公開を行っている.これらは,すべてユーザからの「信頼」を生み出すものである.多くの子どもたちが身につけるものだからこそ,安心安全なものでなければならない.社会実装においてプロダクトを信頼してもらうことは,欠かせない要素の1つであると考える.

Ontennaプロジェクトでは,当事者とともに作り上げている過程を,Webページや動画サイト,SNSを通じて積極的に発信を行った.特に,動画制作の際には,必ず当事者の意見を入れるように考慮した.さらに,Ontennaのメインビジュアルには,実際のろう学校に通う生徒を起用したほか,聴覚障がい者のコピーライターに依頼をして「感じること,それが未来.」というキャッチコピーを生み出した.このように,それぞれのアウトプットに対してストーリーを添えることで,プロジェクト全体に対する「共感」を生み出していった.この共感が,当事者やその周辺の人々を巻き込み,社会実装を推し進めるためのキーワードであると考える.

2.5 まとめ

本章では,Ontennaのデザインプロセスや応用事例より,社会実装に必要な要素についての考察を述べた.茅らは,社会実装を「問題解決のために必要な機能を具現化するため,人文学・社会科学・自然科学の知見を含む構成要素を,空間的・機能的・時間的に最適配置・接続することによりシステムを実体化する操作」と定義した[17].この社会実装を実現するため,Ontennaのケーススタディより,必要な要素について考察し,

  • 当事者とともにデザインする
  • 課題解決から価値創造へ
  • グランドデザインの実践
  • 信頼と共感のデザイン

といった内容について述べた.これらの内容は,研究を社会実装していく上では欠かせない要素であると考える.もちろん,これらすべての要素を満たしたからといって,必ずしも社会実装ができるものとも限らない.しかし,研究を社会実装するために,これらの要素が1つの道標になることを期待している.

3.エキマトペの事例紹介

本章ではこれまで述べたOntennaのデザインプロセスに基づいて開発した,聴覚障がい者向けの新しいユーザインタフェース「エキマトペ」とその開発プロセス,社会実装について述べる.

3.1 背景

ろう学校に通う生徒の中には,自宅近所にろう学校がないため,電車を使って通学を行う人が一定数存在する.これまでもろう学校に訪問した際,電車や駅を利用して通学する上で,音が聞こえないことによる危険や不便を感じているという意見が見られた.そこで,富士通(株),東日本旅客鉄道(株),大日本印刷(株)(DNP)の3社共同プロジェクトとして,「未来の通学をデザインしよう」というワークショップを企画し,川崎市立聾学校にて開催することとした.当事者から,より通学が安心安全で,楽しくなるようなアイディアを出し,それらをアイディアで終わらせるのではなく,実際の駅に実装するところまでを目指した.

3.2 「未来の通学をデザインしよう」ワークショップの様子

2021年7月2日,川崎市立聾学校にてワークショップを開催した.参加者は川崎市立聾学校に通う10代男女,約20名であった.はじめに,富士通(株),東日本旅客鉄道(株),大日本印刷(株)(DNP)の3社より,それぞれの企業がどのような事業に取り組んでいるのかをプレゼンテーションを行った(図11).これより,駅や電車,フォントやテクノロジーに対するワークショップ参加者のイマジネーションをかきたてた.

ワークショップの様子
図11 ワークショップの様子

その後,「未来の通学をデザインしよう」というテーマで,それぞれアイディアをワークシートに記載し,生徒1人ひとりから意見を得た(図12).ワークシートにアイディアを記載した後,グループごとに1人ずつアイディアについて発表を行った後,グループで代表1名を選定し,代表者が参加者全員の前で発表を行った.

ワークシート
図12 ワークシート

3.3 ワークシートの結果

ワークシートを通して,ろう学校に通う生徒1人ひとりから,通学をより安心安全に,もしくは楽しくなるようなアイディアを数多く得られた.具体的には,

  • 駅にテレビを設置して,音声情報などを可視化する
  • モニターに手話を表示させる
  • トビラからスロープを出す
  • 電車の中で強盗がきたら,カプセルを落として捕まえる
  • 駅の雰囲気をもっと明るくする
  • 電車の中でコミュニケーションロボットを設置する

などである.ワークショップ参加者から得られたアイディアの一部を図13に示す.今回は,富士通(株),東日本旅客鉄道(株),DNPがそれぞれのリソースを活かし,これらをアイディアのみに終わらせるのではなく,実社会に実現するところまでをプロジェクトの目標として取り組んだ.そのため,3カ月以内に実現できるということも1つの条件として,アイディア選定を行った.そして,生徒たちからの意見を元に,「エキマトペ」というユーザインタフェース装置を考案した.

ワークシートの結果
図13 ワークシートの結果

3.4 エキマトペとは

エキマトペは,駅のアナウンスや電車の音といった環境音を,文字や手話,オノマトペとして視覚的に表現する装置である(図14,15).誰もが使いやすく,毎日の鉄道利用が楽しくなるような体験を目指し,川崎市立聾学校の生徒と一緒にアイディアを考案した.

エキマトペのメインビジュアル
図14 エキマトペのメインビジュアル
エキマトペの画面
図15 エキマトペの画面

単一の無指向性マイクによって集音された音声をAI分析し,各番線アナウンスの文字・手話動画化,および車両・ホームドア・スピーカーから鳴る音のオノマトペ化を行う.また,駅員のマイクから取得した駅アナウンスをリアルタイムに文字に変換するほか,文章の意味に合わせてフォントを自動的に変化させる(図16).LEDモニターのサイズは縦1m×横2mであった.

エキマトペの仕組み
図16 エキマトペの仕組み

なお,事前学習データの生成にはFUJITSU PRIMEHPC☆3を,音声文字起こしには FUJITSU Software LiveTalk☆4を,フォントの切り替えには DNP感情表現フォントシステム☆5をそれぞれ使用した.

3.5 設置場所・期間

東日本旅客鉄道(株)より,実証実験を行う場所の条件として安全上の理由から,ホームドアが設置されており,ホーム幅がある程度広い駅であることが挙げられた.これらの条件を満たす駅として東京都豊島区巣鴨にある,JR巣鴨駅の山手線ホーム内が実証実験の場所に選定された(図17).JR巣鴨駅は,東京都立大塚ろう学校の最寄り駅であるため,多くの聴覚障がい者が利用する駅でもある.設置期間は,2021年9月13日〜15日の3日間であった.

巣鴨駅でのエキマトペ設置の様子
図17 巣鴨駅でのエキマトペ設置の様子

3.6 エキマトペ発表会

エキマトペ公開当日の2021年9月13日,本来であれば川崎市立聾学校の生徒が巣鴨駅を訪れる予定であったが,COVID-19の影響により都内では緊急事態宣言が発令された.そのため,オンラインで巣鴨駅とろう学校を繋ぎ,ろう学校の教員1名のみが現場でリポートを行う形で発表会が行われた(図18).

発表会当日の様子
図18 発表会当日の様子

発表会参加した生徒からは,

  • すごく分かりやすかったので,すがも駅だけでなく,全部の駅にエキマトペがあったらすごくいいと思いました.
  • 電車の音は聞こえるけどほう送の声が聞こえなく,分からないので,エキマトペがあると文字も出て,とても分かりやすいなと思いました.
  • 自分たちでどのようなものがあれば便利か考え,またそれを実現できたことが嬉しかった.これからも開発が進み,より便利になっていってほしい.

といった意見を得た.SNSではエキマトペの動画が拡散され,Twitterでは46万回再生,1.7万件のいいねを獲得したほか,ネット記事やYouTube動画が作成され,メディアに取り上げられるなど大きな反響があった.

3.7 考察

エキマトペプロジェクトは,アイディア出しから実証実験まで,Ontennaのデザインプロセスを参考に実行した.ここでは,前章で述べた社会実装に必要な要素である「当事者とともにデザインする」,「課題解決から価値創造へ」,「グランドデザインの実践」,「信頼と共感のデザイン」という4つの観点より,エキマトペプロジェクトの考察を行う.

初めに,「当事者とともにデザインする」という点では,プロジェクトの最初から川崎市立聾学校の生徒や教員に参加してもらい,プロジェクトを進めた.ワークシートなどを用いて当事者からアイディアを引き出すことで,駅や電車を利用する上での課題や要望について明らかにすることができた.副次的ではあるが,富士通(株),東日本旅客鉄道(株),DNPのプロジェクトメンバの多くがろう学校を訪れ,当事者ユーザと触れ合う体験をした.これにより,誰を笑顔に,幸せにするのかということに対しての共通認識が生まれ,プロジェクトへのコミットメントを高める効果があった.

次に,「課題解決から価値創造へ」という点について考える.ろう学校の生徒からの意見として,アナウンス情報や遅延情報などを文字や手話にしてほしいといった,情報保障としての要望が多く見られた.これは,安心安全な通学を目指す上では大変重要なものである.しかし,これらの意見をそのまま実装しただけでは,当事者にとって有用であるものの,それ以外のユーザである健聴者に対して価値創造を行うには不十分である.そこで,自然界の音・声,物事の状態や動きなどを音(おん)で象徴的に表した語であるオノマトペを用いて,駅の音を表現することで,聴覚障がい者はもちろん,健聴者にとっても楽しい駅体験になると考えた.結果として,多くの健聴者がSNSなどで「面白い」「たしかに,駅にはたくさんの音が溢れている」といった多くの反響があり,当事者以外にとっての価値を見出すことができた.

続いて,「グランドデザインの実践」について述べる.この点については,2022年1月時点においてはまだ実現できていないのが現状である.今後,全国展開を行うためにもグランドデザインは重要なキーワードとなる.現在計画しているのは,「コミュニティ」を生み出す装置としてエキマトペを活用できないかということである.たとえば,電車を待つ間に,地域の手話サークルやボランティアに関する情報を表示することで,手話やボランティアに興味を持ち,行動するきっかけを作り,その結果,地域コミュニティをデザインできるのではないかと考える.単なる駅での利用ではなく,人と人とを繋げる装置として活用することで,グランドデザインを実践できる可能性がある.

最後に,「信頼と共感のデザイン」について考察する.本プロジェクトでは,信頼や共感を集めるための施策として,プロモーション動画やWebページ制作を行った.プロモーション動画では,ろう学校の子どもたちとともにワークショップを行いながら,一緒にアイディアを考案し,それらのアイディアを実現するという内容が伝わりやすくなるようストーリーを組み立てた☆6.また,Webページにおいても,当事者のアイディアを企業の人々が実現するというプロセスを可視化することで,信頼や共感を生み出すことを試みた[18].結果として,メディアへの掲載やSNSで反響の反響があり,社会から信頼や共感を広く集められたことにより,次の実証実験フェーズに繋がった.

4.今後の課題

本稿では,Ontennaのデザインプロセスを考察することで,社会実装に必要な要素を明らかにすることを試みた.デザインプロセスを考察する過程において,ろう学校での実証実験やエンタテインメント分野での活用,プログラミング学習やアート体験における被験者の声を集め,その有用性について検討を行った.それぞれの体験に対し,被験者からポジティブな意見を多く集めた一方,それらのほとんどが質的な評価に留まり,量的なエビデンスに基づく考察が不十分であった.今後ワークショップを実施する際には,量的評価にも配慮し,全体設計を行いたい.

本稿で明らかとなった社会実装に必要な要素は,聴覚障がい者に限らず,視覚障がいや肢体不自由,そのほかのさまざまな障がいに対して適応可能である.エクストリームユーザである彼らと一緒にユーザインタフェースを開発することで,人間の身体や感覚を拡張し,より多くの人々にとって,これまで感じることのできなかった世界を感じるための,有用な手段を創造できると考える.今後は,これまでかかわりの深い聴覚障がい者の人々とともにプロジェクトを進めることはもちろん,それ以外のエクストリームユーザとも一緒になって,人間の可能性を広げる研究開発を進めていきたい.

参考文献
  • 1)音をからだで感じるユーザインタフェース Ontenna:https://ontenna.jp/ (参照 2022-07-16)
  • 2)Gorman, B. M. : VisAural : A Wearable Sound-Localisation Device for People with Impaired Hearing, In Proceedings of the 16th International ACM SIGACCESS Conference on Computers & Accessibility (ASSETS '14), pp.337-338 (2014).
  • 3)Hong, R., Wang, M., Yuan, X., Xu, M., Jiang, J., Yan, S. and Chua, T. : Video Accessibility Enhancement for Hearing-Impaired Users, ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), Vol.7, No.1, pp.1–19 (2011).
  • 4)Matthews, T., Fong, J. and Mankoff, J.: Visualizing Non-Speech Sounds for the Deaf. In Proceedings of the 7th International ACM SIGACCESS Conference on Computers and Accessibility, pp.52–59 (2005).
  • 5)Azar, J., Abou Saleh, H. and Al-Alaoui, M. A.: Sound Visualization for the Hearing Impaired, International Journal of Emerging Technologies in Learning (iJET), Vol.2, No.1 (2007).
  • 6)Sakajiri, M., Miyoshi, S., Nakamura, K., Fukushima, S. and Ifukube, T.: Development of Voice Pitch Control System Using Two Dimensional Tactile Display for the Deafblind or the Hearing Impaired Persons. NTUT Education of Disabilities, Vol.9, pp.9–12 (2011).
  • 7)Trivedi, U., Alqasemi, R. and Dubey, R. : Wearable Musical Haptic Sleeves for People with Hearing Impairment, In Proceedings of the 12th ACM International Conference on PErvasive Technologies Related to Assistive Environments, pp.146–151 (2019).
  • 8)Shibasaki, M., Kamiyama, Y. and Minamizawa, K. : Designing a Haptic Feedback System for Hearing-Impaired to Experience Tap Dance. In Proceedings of the 29th Annual Symposium on User Interface Software and Technology, pp.97–99 (2016).
  • 9)Benesse Art Site Naoshima:クリスチャン・ボルタンスキー「心臓音のアーカイブ」,https://benesse-artsite.jp/art/boltanski.html (参照 2022-07-16)
  • 10)山内 裕:参加型デザインとその新しい展開(特集 参加型アプローチの展開),システム/制御/情報,Vol.56, No.2, pp.57–64 (2012)
  • 11)塩瀬隆之,水町衣里,小林大祐:インクルーシブデザインでデザイナがユーザに期待する役割(特集 参加型アプローチの展開),システム/制御/情報,Vol.56, No.2, pp.65–70(2012).
  • 12)安斎勇樹,塩瀬隆之,山田小百合,水町衣里:インクルーシブデザインワークショップにおける共感的理解を促すアイスブレイク手法の提案,日本教育工学会論文誌,Vol.37, No.Suppl., pp.97–100(2013).
  • 13)福田 修,辻 敏夫:福祉機器開発プロジェクト,成功のシナリオは?(<小特集>私はこう読む!),日本機械学会誌,Vol.105, No.1008, pp.744–746 (2002).
  • 14)秋庭 太:障害者用福祉機器開発プロセスと成功要因─携帯型意思伝達装置,トーキングエイドの開発─,日本福祉大学経済論集,Vol.特別号,pp.129-147(2004).
  • 15)岩田龍子:福祉社会の構造変化と福祉機器産業の発展―ビジネス動機と社会貢献 動機のバランス―,日本福祉大学社会福祉論集,Vol.104, pp.1–17(2001).
  • 16)水野大二郎,廣瀬花衣,木許宏美,田中堅大:平成時代における参加型デザインリサーチの変容に関する分析:社会福祉政策と共振する市民参加・包摂型デザインにおけるユーザの位相の変容を中心に,Keio SFC journal, Vol.18, No.1, pp.128-154(2018).
  • 17)茅 明子,奥和田久美:研究成果の類型化による「社会実装」の道筋の検討,社会技術研究論文集,Vol.12, pp.12–22(2015).
  • 18)「電車の音,初めて知った.」エキマトペ:https://ekimatopeia.jp/ (参照 2022-07-16)
本多達也
本多達也(非会員)honda-tatsuya@fujitsu.com

2015年公立はこだて未来大学大学院博士前期課程修了.2016年富士通(株)入社.2019年東京都立大学大学院博士後期課程入学,現在に至る.JST CRESTxDiversity 主たる共同研究者.Ontennaプロジェクトリーダー.UIデザイナー.

馬場哲晃
馬場哲晃(非会員)baba@tmu.ac.jp

東京都立大学教授.芸術工学をキーワードに,テクノロジーとアートを融合した新しいものづくりを目指している.アートやエンタテインメント,工学等の幅広い分野にて精力的に活動中.

岡本 誠
岡本 誠(非会員)maq@fun.ac.jp

公立はこだて未来大学特任教授.筑波大学大学院修士課程修了(デザイン学)し,富士通(株)総合デザイン研究所を経て,2000年から現職.デザイン学会理事,共創学会理事,グッドデザイン賞選考委員など兼務.最近の研究テーマは,共創や知覚デザイン.

投稿受付:2022年5月15日
採録決定:2022年8月8日
編集担当:福原知宏(マルティスープ)

会員登録・お問い合わせはこちら

会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。