コンピュータによる感性への取組み

感性情報学の基本的なアプローチである「人間の感性に対してコンピュータがどのような理解をし，どのように表現しているか」について，躍進的な技術となった Affective Computing[1]の研究成果である「感情認識 AI」[2]と感性情報処理[3]の研究成果である「対話型進化計算」[4]という2つのツールをご紹介する．

Affective Computingの Affectiveは感情という意味である．1997年にMIT Media LabのRosalind Picard教授が，その著書「Affective Computing」において「感情やその他の感情的現象に関係する，意図的に影響を及ぼすコンピューティング」と提唱したのが最初と言われている．感情認識 AIである「Affdex」は，MITの Rana el Kaliouby博士と前述の Rosalind Picard教授が起業した Affectiva社が開発した．日本では，（株）シーエーシーが2015年から「中学校デジタル化プロジェクト」によりITを活用した教育の高度化の中で，生徒がプレゼンテーションを行う際，表情解析のために感情認識AIを用いて実証実験を行っている．また，MIT Media LabのAffective Computingが紹介しているプロジェクトには，「うつ病を予測して予防するための新しい方法の発見」「コミュニケーション，動機，感情調節の課題に直面している人々の支援」「ロボットとコンピュータが人間の自然な感情的フィードバックに知的応答できるようにすること」「人々が自分の健康と社会的な健康をよりよく認識できるようにすること」など数多くあり，研究の対象は非常に広範囲にわたる[5]．

対話型進化計算（Interactive Evolutionary Computation：IEC）は，人とコンピュータがコミュニケーションをとりながら，人の感性に合ったものを作成していく手法であり，人間の主観的な評価に基づくシステム最適化の中で進化的計算（Evolutionary Computation：EC）を採用する最適化手法である．人間の嗜好・直感・感情・心理的側面，または，より一般的な用語である感性をターゲットシステムに組み込んだ技術であると言える．高木氏の論文[6]では，1980年代から2000年までの分野別および年別のIEC論文が体系的にまとめられている．現在も続いている研究分野であり，アプリケーションには次の分野がある．Graphic art & CG animation，3-D CG lighting design，music，edi.torial design，industrial design，face image generation， speech processing & prosodic control，hearing aids fitting，virtual reality，database retrieval，knowledge acquisition & data mining，image processing，control & robotics，internet，food industry，geophysics，art education，writing education，games and therapy，social systemなど．

これらの技術が日本の ISDN時代開幕当時に提唱された「時間と空間を超えたコミュニケーション」を助長し，日常感覚で実現できる日が近づいてくるのでないかと思われる．日本の1990年代前半は，通信技術であるISDNの普及，遠隔地間のコミュニケーションの普及，CSCW（Computer Supported Cooperative Work）やグループウェアの普及によるコンピュータと通信を介在した人間同士の協調作業支援の促進，サテライトオフィスの普及と実証実験が盛んに行われていた．感情や気持ちなど抽象的な情報である感性を共有し合いながら送信者と受信者が正確にメッセージを交換することができるとコミュニケーションが円滑に行われたと思い，互いの関係やコミュニケーションが長く続く．メッセージを受信したとき，その内容を受け止める際に，どのような立場や背景の中で受け止めればよいのか困惑した経験はあるかと思う．氷山の一角であるメッセージに対して，海面下の部分は見えている部分よりも大きく，本人すらはっきりとは分からない．この海面下の部分を可視化するコミュニケーション支援の試みも行われてきた．

日本の2020年，最適化手法や人工知能とビッグデータ分析による特徴抽出技術が進展した感性情報学は，海面下の部分の特徴抽出を行うことができるようになり，新たなコミュニケーションへ向かっている．IECは，人間とコンピュータのコミュニケーションのやりとりの中で，人間の主観的な評価に基づき感性情報のビッグデータを最適化させながら感性の特徴抽出を行い，人間に理解できる形で人間へフィードバックを行うことができる．感情認識AIは，コンピュータがカメラで撮影した人間の表情であるビッグデータから人工知能により特徴抽出を行い，人間に理解できる感情「怒り」「軽蔑」「嫌悪」「恐怖」「喜び」「悲しみ」「驚き」等に分類して，人間へフィードバックを行うことができる．このフィードバックがコミュニケーションを豊かにする手がかりなのである．

現在の社会では，働き方改革の推進や大規模な感染症拡大，災害への対策としてリモートコミュニケーションによる就労や教育が促進されている．2020年3月に発表されたペーパーロジック社による「リモートワーク・テレワーク」に関するアンケート調査[7]によると45.9%の人が「対面よりコミュニケーションが難しい」と回答している．リモートを円滑に行うにあたって最も難しいのが，コミュニケーションの問題であると指摘している．しかしながら，感性情報学は，恐らくは，このコミュニケーションの問題を解決し，対面とは異なる就労や教育がリモートコミュニケーションにより促進されるであろうと期待をしている．

そこで，本特集は，利用者の感性情報をリアルタイムに解析･利用･把握する数理モデルや応用例について，多くの知見が共有されることを目指して企画された．

本特集の論文について

本特集は，「感性情報学最前線」に関し実践例を踏まえたプラクティスについての4編の招待論文，それらの執筆者によるインタビュー／座談会を加え，さらに，より幅広いこの分野のプラクティスにかかわる投稿論文を加えて全体が構成されている．

招待論文：感情認識 AI「心sensor」の教育現場導入に向けた実証実験

情報サービス産業協会（JISA）では，2015年から「中学校デジタル化プロジェクト」によりITを活用した教育の高度化を進めてきた．本プロジェクトでは青翔開智中学校・高等学校を題材として，探究教育における評価を定量化するために，生徒がプレゼンテーションを行う際，表情解析のために感情認識AI「心 sensor」を用いて生徒のプレゼンテーションを撮影・分析を行い，表情に関してフィードバックする実証実験を行ってきた事例について解説している．

解説論文：ユーザの感性情報を用いた動的なコンピュータシステム

企業の商品開発分野などで注目されている感性情報処理に関する技術について，ユーザの感性情報を利用し，新たなものを作成するシステムを中心に述べる．感性情報学における IEC手法の位置づけ，IECの研究事例や実環境における応用に関する知見などについて，解説している．

招待論文：遠隔地間の味コミュニケーションを想定した対話型進化計算による混合飲料生成システムの改善

IECは，最適化手法である進化計算を利用して，各ユーザの好みを反映したコンテンツ作成を支援する有力な探索ツールである．多くのユーザの感性に合う清涼飲料の味を創生するために新たな IECシステムを提案し，遠隔地にいる複数のユーザと味の調合情報を交換する「味コミュニケーション」を取り込んだ飲料調合システムの開発を行った．また，評価実験を行い，有効性を検証した．

招待論文：一般ユーザ向けの対話型進化計算システムにおける一対比較評価の有用性

トーナメント式評価手法の改良版となる勝ち残り一対比較評価手法を提案し，商品カスタマイズにおける応用を視野に入れた IECシステムを構築し，その有用性を検証した．ユーザが一対比較評価に迷った場合に，「どちらも好き」「どちらも嫌い」の判定ができる機能を付け加えたシステムに関する検証も行っている．実験結果より，提案した機能の有無によるデザイン満足度は違いがなく，提案システムはユーザの解候補評価のしやすさの面で有用であることが確認された．

これらの招待論文に加えて，招待論文の筆者の方々らによるリモート・インタビュー／座談会を掲載している．感情認識 AIである心 sensorについて，（株）シーエーシー様へインタビューを行い，また，対話型進化計算をブレークスルーしようと挑む研究者の Zoom座談会を開催した．インタビューでは，感情認識 AIの活用展開を伺うことができた．また，座談会では，これまでの対話型進化計算に関する研究を振り返り，対話型進化計算を実際に応用する上での障害を指摘し，それらの解決策と応用手段にはどのようなものが考えられるかについて忌憚なく意見交換を行うことができた．

また，以下2本の投稿論文を採録した．

感性情報フェイスマークが伝える感性情報

フェイスマークが伝える感性情報を多次元尺度構成法により視覚化した結果から，感情や印象を抽出した．メールやチャットメッセージなどの送信者として自分の感情を伝える場合には，本稿にて発表している適切なフェイスマークを選択していただくことを期待する．

A New Method of Subjective Evaluation Using Visual Analog Scale for Small Sample Data Analysis

Visual Analog Scaleという感度評価のための主観的評価方法を提案した．ロボットとの会話の印象に焦点を当てた評価実験を行った結果，データの全体的な分布を視覚的に把握できた．

実用化への期待

これらの実践事例を通して，筆者たちが得た有用な知見や，ブレークスルーへの取り組みにおけるプラクティスが共有され，感性情報学の研究分野が進展し，感性情報学を活用したソリューションやビジネス展開がますます広がることを願っている．

参考文献

• 1）Affective Computing : https://affect.media.mit.edu/ (参照 2021-1-24)
• 2）感情認識 AI : https://affectiva.jp/ (参照 2021-1-24)
• 3）感性情報処理とは？ : https://www.fit.ac.jp/~h-takenouchi/introduction_kip.html (参照 2021-1-24)
• 4）対話型進化計算インタフェース：https://www.fit.ac.jp/~h-takenouchi/introduction_iec-interface.html (参照 2021-1-24)
• 5）Technology and Emotions by Prof. Roz Picard in TEDxSF : https://youtu.be/ujxriwApPP4 (参照 2021-1-25)
• 6）Takagi, H. : Interactive Evolutionary Computation: Fusion of the Capacities of EC Optimization and Human Evaluation. Proceedings of the IEEE. 2001, 89 (9), p.1275-1296, http://www.design.kyushu-u.ac.jp/~takagi/TAKAGI/IECpaper/ProcIEEE_3.pdf (参照 2021-1-24)
• 7）「リモートワーク・テレワーク」に関するアンケート調査： https://paperlogic.co.jp/news_20200306/ (参照 2021-1-24)
• (2020年11月2日)