1．はじめに

インターネットやスマートフォンの普及に加え，IoTやAIなどのディジタルテクノロジーの革新が進み，これまで以上に多くの生活者がその技術を活用する機会を持つようになっている．スマートフォンなどのアプリケーションを活用したサービスは増え続け，シリコンバレーのベンチャー企業により提供されているUberやAirbnbなど，生活者を魅了するディジタルサービスは既存の業種業態をディスラプト（破壊）する影響力を持つようになっている．加えて，このような破壊的イノベーションを生むサービスを起点に人や社会を支える新たなプラットフォームが生まれている．

これまで，富士通ではIoTやAI分野，ヤマハでは楽器や音響分野において，それぞれ自社が中心となっての新たな技術開発を行ってきた．今回の共創は，両社の技術と事業領域を融合させることで“音”を基盤に多様な分野で新たな感動体験を提供できるような次世代型のプラットフォーム事業開発を目指している．両社のエンジニアリング，デザイン，ビジネスを融合させることで，自社開発だけでは為し得なかったサービスの構想を可能にし，多様な事業領域を繋いだ感動を生みだすサービスをデザインした．本稿では，これまでの経緯と取組み，新たなサービスの概要について，プロトタイピングの実践事例をもとに述べる．　　

また本稿で使用している「サウンドプラットフォーム」とは，「音」情報を収集し，音情報に時間・位置・方角情報を組み合わせ，利用者の生体情報や個人情報と連携させることで，感情や状況などのコンテキストを分析し，利用者にフィードバックすることを可能とするディジタルシステム全般のことを示す.

2．共創展示の取組み

富士通では，ヤマハと共創がスタートする以前から，人々が毎日履いている靴に着目して，その未来を創るオープンイノベーションのための共創プラットフォーム「interactive shoes hub」の活動を実践していた[1]．その仕組みは，センサモジュールを取り付けた靴（センサシューズ）から取得した足の動き・圧力・曲がりなどのデータをデータセンタに蓄積し，センサシューズからのパーソナルデータや天気、地図情報などのオープンデータを活用して解析した有用な情報を，アプリケーションを介してユーザや家族・友人，社会に提供するものである（図1）．一方ヤマハでは，楽器や音響に続く新しいビジネスを模索すべく，Future Sound & Music（FSM）プロジェクトというオープンイノベーションによる新規事業構想プロジェクトを実践していた．FSMプロジェクトでは，Creators' Hub[2]という，複数の異なるプロトコルを相互変換することでさまざまなメディア・デバイスが連動することが可能な新しい仕組みを開発していた[2]．

富士通とヤマハは「オープンイノベーション」というキーワードに共感し，両社のクリエイターとエンジニアが中心となり，靴から取得可能な生体情報とCreaters' Hubを連携させた以下の3つのプロトタイプの共創展示を実施した．

2.1　SXSW 2016

2016年3月に米テキサス州で開催されたSXSW 2016[3]では，リアルタイムにセンサシューズから得たデータを，音とモーショングラフィックの連動によって五感で感じられるようにするデモンストレーションを制作した．富士通は，両足から得られたRawデータのうち，圧力や加速度データを分析して統合することで，体験者の行動を抽象化して体のバランスや姿勢をリアルタイムに表現するゴースト（分身）のモーショングラフィックを生成した（図2）．ヤマハは，そのゴーストの動きに連動した音を加えることで，身体の状態を視覚的だけではなく聴覚的にも把握できるコンテンツにした．たとえばバランスが崩れている前傾姿勢や後傾姿勢になると，閾値を超えた範囲に応じて心地の悪い音を生成するなど，利用者の動きに応じた数パターンの音との連動を実装した．このデモンストレーションは，ICT業界だけではなく音楽や映像業界のプロデューサーやデザイナーからも共創の提案をいただくなど，新たなコラボレーションの可能性を広げることができた．

2.2　Sound & City

同年4月に六本木アークヒルズで開催されたSound & City[4]では，SXSW 2016のデモンストレーションをバージョンアップさせ，センサシューズと楽器を奏でるボックス型のスピーカを連動させることで身体の動きに合わせて音を奏でるプロトタイプを制作した（図3）．複数の人々が同時に場の音楽を生成する感覚を生み出すために，エレキギターやピアノ，パーカッションなど4種類の楽器に対応した4足のセンサシューズを連動させ，参加者による音楽セッションを可能とした．楽器を演奏したことがない子どもや家族が，体の動きに合わせて曲を奏でる体験を通して，利用者からは笑顔と感動の声が多く聞かれた．筆者らはこの展示を通して，音を今までとは異なる使い方で利活用することで新たな感動を生みだすことを実感した．

2.3　J-POP Summit 2017

さらに同年7月，米国サンフランシスコで開催されたJ-POP Summit 2016 [5]でも展示を行った．J-POP Summit 2016では，Sound & Cityのデモンストレーションを発展させ，体験者の動きで奏でられた音や光，振動の演出を，透明のボール型のプロトタイプで見学者に伝えた．また，その演出に対して見学者がボールをたたくことで，フィードバックを返すことができるデモンストレーションを展示した．これにより，ライブコンサートなどの演出におけるパフォーマーとオーディエンスのインタラクティブな演出の可能性を探った．

これらの共創展示は，多くの体験者を魅了し，「音と人と社会の未来をアップデートする注目のプログラム」という評価を受けた[6]．

3．新規事業のデザインについて

これらの未来の音に関するプロトタイピングを通して，音はビジュアルよりも直観的に人の感動に作用する媒体であることを再認識するとともに，音をインタフェースにしたサービスは，楽器や音響といったプロフェッショナル向け以外にも，生活領域やエンタープライズ領域など，さまざまな分野に大きな可能性があることが分かった．また，光や映像といった音にまつわるさまざまな情報をインタラクティブに組み合わせることで，利用者を魅了する演出やサービス実現の可能性を検証できた．一方，このようなインタラクティブな演出は，個々のイベントに閉じたものやプロの演出家やエンジニアによる限られたサービス領域であり，社会へ浸透させるためのプラットフォームを構築することが今後必要であるという知見を得た．

そこで，ヤマハと富士通は，音を基軸にした新しいビジネスのビジョンを探るべく新たに新規事業の共創プログラムをスタートした．ここからはSound Intelligenceというサウンドプラットフォームのコンセプトと，具体的なサービスやプロトタイプを作り出したリーンなデザイン開発の工夫や，ビジネスを見据えたサービスのデザインとプロトタイピングを活用したテストマーケティングについて述べる．

新規事業のビジョンから構築するための共創プログラムとして，富士通ではHuman Centric Experience Designというアプローチを実践している．このアプローチは「ビジョンの策定」，「コンセプトの開発」，「ビジネスの検証」という3つのプロセスからなる（図4）．

3.1　ビジョンの策定

これらのプロセスを，富士通のクリエイターが中心となってディジタルサービスのデザインノウハウを活かすことで，新たな感動体験を描き，実現へ導くためのビジョンの共創を以下の6つのステップで行った．

最初にINSPIRATIONという参加者の先入観をリセットするための感性に関する専門家のインタビューを行った．それをインプットとして，CROSS CAMPという合宿でのアイディア創発を，両社から楽器や音響，AIのエンジニア，デザイナー，コンサルタントなど20数名で実施した．続いてBRAND INSIGHTというステップで，ヤマハの“感動を創る企業として世界一になる”というなりたい姿をメッセージ化し，「音」と「感動」というコアコンピタンスをベースに「音によって自分の行動や感情が変えられるとしたら？」「時空を超えて感動が伝えられるとしたら？」といった10のテーマを抽出した．そして具体的なサービスアイディアを検証するために，LIVE RESEARCHという富士通が持つ多様なビジネスフィールドにおけるフィールドワークを実施し，アイディアの精度を高めた．最後にTECH REACHという技術検証ワークと，FOCUS INTERVIEWにて市場の先端をいくクリエイターとマッシュアップ ^☆1を実施し，ビジョン開発を洗練させた．

これらの活動を通して見えてきたのは，「音」と「情報」には相関関係があり，音を感動に変換するためのインタフェースを社会のあらゆるところにプラットフォームとして実装することで，新たな感動体験が実現可能なのではないかという大きな問いである．筆者らはその問いに「Sound Intelligence」というネーミングをつけ，“音を知性化する”というサウンドプラットフォーム構想としてビジョン化した．

実態がなく要件定義が難しいビジョン策定のフェーズで特に大切にしたのは，多様な専門家との発散フェーズで未来の可能性を拡げ，デザイナーによる収束フェーズでサービスアイディアやビジョンなどを研ぎ澄まし実体化しながら進めたことである．これによって多様なメンバ間で共感を醸成しながらプロジェクトを円滑に進めることができた．

3.2　Sound Intelligenceについて

「Sound Intelligence」は人の感情に働きかけることができる“知性化した音” を生み出すプラットフォームである．生活の中で常に変化し続ける“時間”“位置”“方角”の情報や，利用者の生体情報や行為をIoTデバイスを通じて取得，そこからその人自身の置かれている状況を分析した上で再生する音を変化させることで，その人の感情に働きかける音の体験を生み出す．状況に応じて自在に変化する音を“知性化した音”と位置づけ，「Sound Intelligence」と名付けた．またこのコンセプトから生まれる10のストーリー（ユーザエクスペリエンス）を描き，その価値を訴求するコンセプトブックとムービーを制作した[7]．コンセプトブックやムービー内では以下に述べるような「Sound Intelligence」の持つ5つの主要機能を描いている(図5)．

3.3　特徴と5つの主要機能について

「Sound Intelligence」はヤマハの持つ音響技術を基盤に，位置情報や時間情報，生体情報等を計測し取得する“IoTセンシング技術”，通信を通じてそのデータを集積する“クラウド技術”，さらにそのデータを分析する“アナライズ技術”の3つの技術を組み合わせることで，音による新たな拡張現実体験を生み出す次世代サウンドテクノロジーである．これらの技術を用いることで，感動を生みだすサービスのプラットフォームとして5つの機能を提唱する．

3.3.1　Tag

音にまつわる位置情報や時間情報をタグとして記録し，状況に応じてタグ付けされた音を再生する機能．たとえば，ある場所に行くとその場所の過去の環境音を聞くことができたり，ある場所にちなんだ音楽を誰かが置き手紙のように配置し，その場所を訪れた別の誰かがその音楽を聴いたりすることができる.

3.3.2　 Focus

その人の興味や嗜好にあわせて， 再生する音のフォーカスを変化させる機能． たとえば，自分の好きなジャンルの音楽を演奏しているストリートミュージシャンの音楽だけが聞こえたり，電車の窓から家の方向を向くと家族の声が聞こえたり，といったことが可能になる．

3.3.3　Translation

周辺のさまざまな情報を読み取ることで，音の持つ意味を解釈する機能．たとえば，環境音から天候の変化を認識したり，ペットの鳴き声からペットの感情を推定したり，音から別の感覚を感じたり（共感覚）することができる．

3.3.4　Emotional Link

人の動き等の情報からその人の感情を読み取り，その感情と連動した音を再生することで感情をコントロールする機能．たとえば， SNSへのネガティブな書き込みや表情などから気分が落ち込んでいることを検出したら元気づけるような音楽を流してくれたり，スポーツの動きに合わせた音楽を流すことでより感情を盛り上げたりすることができる.

3.3.5　Creative

音と通信の技術に音楽的な理解を融合させることで，新たな表現活動をサポートする機能．たとえば身体の動きにあわせた音楽をリアルタイムに生成したり，1人で演奏していてもまるで仲間がいるような音楽セッションを実現することができる.

3.4　コンセプトの検証について

「Sound Intelligence」の実用化に向けて，以下の分野での具体的なサービス開発に向けたデバイス（図6）およびアプリケーションのプロトタイピングを実践した．また富士通フォーラム2017において展示を行い，多様な業種業態の来場者にコンセプト検証を実践した．以下その概要について述べる．

3.4.1　スポーツ分野：アリーナ・スタジアムソリューション

選手の競技者情報とプレーの音データ（床の振動やプレーやボール音）などを分析し，スタジアムやアリーナの座席シートの種別によって異なる臨場感を高める演出配信が可能なエンタテインメントサービスのプロトタイピングを実施．主にスポーツ関係者に対しての体験型プロトタイプを制作した．スポーツ映像の中の音データだけでなく，展示の場でリアルタイムにドリブル音を拡張し（Tag/Focus），振動といった触覚を椅子と同期させたり，会場の光や映像の演出と連携させ，来場者に臨場感が増幅される感覚を醸成した（Translation）（図7）．将来的には，Emotional Link を発展させることでプレイヤー・観客の一体感を創り出したり，Creative を活用することでその場を盛り上げる BGM の自働生成などが期待されている．

3.4.2　エンタテインメント分野：テーマパーク，イベントソリューション

テーマパークや街，イベント会場において，位置情報と音情報を紐づけ，状況に応じた情報を配信する．これは従来のVRとは異なり，人の持つ創造力によって現実世界を拡張するサウンドスケープを作り出すことを目的としている．立体音響技術や会話のコンテキストを理解するAI技術を活用して，時空を超えた音情報を配信する．富士通フォーラム2017では，顔の向きに応じて方角や位置に合わせた「自然」や「音楽」，「昔の街の音」などの音が流れるアプリケーションのプロトタイプを展示した（Tag/ Focus）（図8）．また，応用展開事例として，街や地域の歴史・ストーリと紐づいた音情報を，場所や状況に応じて配信する（Tag/Translation）サービスの実証を検討している．

4．おわりに

「Sound Intelligence」のプロジェクトは，現在，共創から協業に向けた「ビジネスの検証」フェーズを開始している．ヤマハと富士通は，社会インフラとしてのサウンドプラットフォームの開発を今後も実践していく．

謝辞　本稿の作成にご協力いただいた皆様に深謝いたします．

参考文献

• 1) 富士通：interactive shoes hub，https://www.interactive-shoes-hub.com/
• 2) ヤマハ：Creators' Hub，https://amei-music.github.io/CreatorsHub/
• 3) SXSW 2016，https://www.sxsw.com/
• 4) Sound & City，http://wired.jp/tag/sound-and-city/
• 5) J-POP Summit 2016，http://www.j-pop.com/2016
• 6) WIRED：Sound and City メディア掲載，http://wired.jp/2016/04/27/sound-and-city-yamaha/
• 7) IoT xF Sound Intelligence，http://jp.fujitsu.com/solutions/business-technology/iot/future-ux/pj_sound-intelligence.html