1．感性情報処理の変遷とこれから

人間のある対象に対する感性情報をさまざまな形で数値化し，それらを解析・分析することで有用な知識や規則，さらには新しいものを生成することを目的とした感性情報処理と呼ばれる分野がある[1]．感性情報処理は，日本が戦後復興を果たし，量的，効率的な生産を経て，人はどのような製品を欲するか，どのような製品に魅力を感じるかに興味が集まる過程で発展してきた分野である．すなわち，売れる商品とは人々にどのような印象を持たれているのか，どのような属性や特徴を持っているかを知るために発展した分野であるといえる．感性情報処理は1980年代以降に研究分野として確立され，現在も企業や大学などで多くの研究が行われている[2],[3]．

感性情報処理の分野では，人間工学，心理学，情報工学，認知科学，知能情報学など，人間の感性にかかわる数多くの研究分野が学際的に存在し，さまざまな研究が行われている．たとえば，ユーザが製品に対して抱く印象を分析し，製品開発に有用な知識を抽出する研究[4]，ユーザの対象に対するさまざまな印象評価をシステムに入力し，それらを考慮した検索を行うシステム[5]，脳波などの生体情報を利用した印象，認知分析に関する研究[6]などがある．原田らは，本稿の第2章で紹介するSD（Semantic Differential）法[7]を用いて，自動車の形態に対するユーザの感性情報を詳細に分析している[4]．木本らは，SD法と同様に，対象に対する印象値を取得し，ユーザの好みのものを検索するシステムを構築している[5]．武田らは，配色パターンを提示したときのユーザの脳波情報を測定し，それらのデータを分析することで印象把握を実現している[6]．

従来，感性情報処理における研究では，SD法によるアンケート調査が主流であった．SD法は，ある対象に対する人間の感情的な印象やイメージを測定する手法であり，1957年に心理学者オズグッドによって考案された[7]．SD法によるアンケートでは，さまざまな反意語のある修飾語を用いて，対象の印象をイメージや感覚的刺激の側面から調査する．得られたアンケート結果は，因子分析などの多変量解析手法やプロフィール分析を用いて考察される．多くの企業では，自社製品の印象を分析するために有用な手法とされ，実用例が多数ある[8],[9],[10]．

しかし，SD法では，対象の印象を詳細に調査しようとすると，多量のアンケートデータを多くの被験者から取得する必要があるため，アンケート回答項目や評価する対象数が膨大になることがある．このため，被験者の実験に取り組む際の負荷は大きくなり，アンケート結果を得るまでに多くのコストと時間がかかってしまう．また，一般ユーザの感性は時間の経過とともに変化するため，人の感性をリアルタイムに反映させ，商品をレコメンドするような動的なシステムにおいては利用が困難である．

現代の感性情報処理においては，人々の感性情報を取得し，理解することがリアルタイムで求められる場面は少なくない．これは，インターネットに関する技術が発展し，誰もがスマートフォンをはじめとする情報機器端末を所持するようになったことが大きく影響している．たとえば，スマートフォンを用いて衣服を購入しようとするとき，Webショッピングサイトからユーザが単純に衣服を検索するだけでなく，ユーザの年齢や性別，好みに合わせた衣服をショッピングサイトからレコメンドされるような場面を想定する．レコメンドの際には，Webサイトがユーザの属性や過去の購買・閲覧行動から，ユーザが好むであろうと想定される衣服を瞬時に検索し，提示している．このため，SD法のように，多量の感性情報を取得し，正確に印象の特性を把握しようとする手法は，リアルタイムに商品をレコメンドするようなシステムでは不向きである．

Webショッピングサイトなどでは，ユーザの購買行動を基にユーザが好むと想定される製品を自動的にレコメンドするシステムが多く登場している．たとえば，Amazonでは協調フィルタリング技術を用いたレコメンドシステムを実装している[11]．協調フィルタリングでは，あるユーザに商品をレコメンドする際，他のユーザの商品閲覧・購入履歴などを参照し，履歴が類似したユーザが閲覧や購入している商品をレコメンドする．しかし，単純に閲覧履歴などの類似度を参照しただけでは，真にユーザの所望する商品を理解することにはつながらない．レコメンドシステムにおいても，ユーザの嗜好を把握することは重要であるが，アンケート解析をしていたのでは，瞬時にレコメンドすることは困難である．これを解決するためには，ユーザの感性情報をあらゆる形でできる限り簡便に取得し，ユーザの好むものを動的に作成したり，検索したりすることが必要である．

このようなフレームワークを実現するために有用と考えられる技術の1つに，対話型進化計算（Interactive Evolutionary Computation：IEC）手法がある[12]．IECは進化計算（Evolutionary Computation：EC）における解候補評価をユーザの感性評価に置き換えた手法である．IECを用いたシステムには，ユーザの感性に合った音や画像を生成するシステム[13],[14]，画像フィルタパラメータを検索するシステム[15]，インテリアレイアウト[16]や衣服をデザインするシステム[17]などがあり，幅広い分野で応用が試みられている．

一般的なIECシステムでは，ユーザは自身の感性に基づいて，解候補の表現型（音や画像などユーザが評価できるもの）の良し悪しを評価する．ユーザの評価情報はシステムにフィードバックされ，EC処理によって新たな解候補をほぼリアルタイムに生成する．このため，IECシステムでは，ユーザの解候補に対する評価情報を取得できれば，瞬時にユーザの好むと想定される解候補を生成できる．また，ユーザの評価情報ログを分析することによって，ユーザの好みの対象を生成するだけでなく，評価の傾向や他のユーザとの共通点などを観測でき，他商品のレコメンドなどにも有用であると考えられる．本稿では，このようなIECのこれまでの研究事例や今後期待される応用手法などについて，紹介していく．

本稿は全5章で構成される．第2章では，従来の感性情報処理の主流であるSD法についてまとめ，感性情報の動的な利用の必要性について述べる．第3章では，ユーザの感性情報を動的に利用できる手法として期待されるIEC手法の起源や基本アルゴリズムについて述べ，IECの技術的課題についてまとめる．第4章では，IECの研究事例を黎明期，展開期に分け，それぞれの特徴をまとめ，さらに最近の研究事例について紹介する．第5章では，本稿のまとめと今後予想される展開について述べる．

2．感性情報処理において求められること

2.1　感性情報の数値化

人間の感性情報とは曖昧なもので，人によって感じ方が異なれば，感じ方の程度も異なる．図1に人間の感情分類によく用いられるラッセルの円環モデルを示す．ラッセルによると人間の感情は図1に示すように快―不快，覚醒―不覚醒の程度によって2次元平面上に配置される[18]．

このような感性情報を，たとえば10段階評価による数値で表現しようとした際には，以下のような困難が生じる．

• 1）数値化の程度に個人差がある
• 2）時間の経過とともに，数値が変化することがある

1）では，たとえば，人間がある対象に対して，「かわいい」や「かっこいい」などさまざまな印象を抱いたとき，その印象を「とてもかわいい」「すごくかっこいい」のように言語で表現する場合を想定する．通常の会話では，人間はこれらの意味を感覚的に無意識のうちに把握している．また，このような印象を客観的に扱えるように数値化しようとすると，「かわいいの度合いは10点満点で8点である」「かっこいいの度合いは10点満点で7点である」のような表現になる．しかし，そもそも個人によって「とても」や「すごく」の度合いは異なり，数値化されても個人の主観的要素が含まれることになる．このため，感性情報は，長さや量など工学で一般に扱う数値データのように，定量的に表現しにくいものとされている．数値化された感性情報を分析・解析する際には，感じ方には個人差があることを考慮し，統計的分析の観点からはそのような個人差をカバーできる程の被験者集団を用意することも重要になる．

2）は，衣服を例に挙げると，流行り廃りが影響する．個人の感性は少なからず流行や他者の印象に影響され，以前は好みであったものが現在は好みでなくなる場合がある．また，人間は年齢を重ねるごとに好みの対象や程度も変化する．このため，数値化された感性情報も永久的に通用する値ではなくなってしまう．このような要因を踏まえた上で，感性情報は扱われる必要がある．しかし，比較的短期間における感性情報の分析・解析は，その時期のトレンドや年代別の嗜好を把握するためには有用である．なぜなら，トレンドは短い周期で変化することが多いためである．

感性情報を分析・解析した結果から知りたいことは，どのような属性や特徴を持っている対象が人々に好まれるのか，かっこいい，かわいいなどと思われるのかである．このとき，重要なことは対象に対する印象や感覚的イメージを可能な限り細分化し，細分化された印象を見ていくことである．たとえば，衣服の場合では，対象から受ける感覚的イメージを「派手か地味か」「明るいか暗いか」などさまざまな修飾語対を用いて，ユーザに回答してもらう方法がある．これを実現している手法の1つがSD法であり，2.2節で解説する．

2.2　SD法による印象分析

感性情報処理の分野において，ユーザの製品に関する印象調査が企業を中心に試みられてきた[8],[9],[10]．その際に利用される代表的な技術がSD法である[7],[19]．SD法では，さまざまなモノやコトなどに対するユーザの感覚的刺激やイメージを測定する．測定対象に対する印象を多角的に捉えるために，SD法では複数の反意語のある修飾語（形容詞，形容動詞，副詞などを含む）対を用意し，それらを両端に置いた多段階の評価尺度に対してユーザが評点を付ける．図2にSD法における回答形式を示す．ユーザはモノやコトなどの複数の対象に対して，対象を見たり触ったり，また対象によっては実際に飲食したりして，図2のような回答形式で印象を回答する．図2の例では，各修飾語対について7段階評価で回答するようになっている．

全被験者の回答が終了すれば，回答データを集計し，修飾語対同士の評点の相関係数を求めたり，因子分析や主成分分析など多変量解析手法を用いたりして，対象についての印象を考察する．考察の過程では，どのような印象が被験者の好みを分けるキーになっているか，被験者集団のうちどの程度の被験者が共通の印象を抱いているかなどについて検証される．

SD法を実用する際には，以下の2点について注意が必要である．

1）被験者の負担の考慮

多数の対象に対して，多くの回答項目（修飾語対）を用意すれば，印象分析はより詳細になる可能性があるが，被験者の負担も増大する．被験者の負担が増加すると，回答記入漏れが発生したり，同様の作業の繰り返しで印象を正しく評価できなくなったりすることが想定される．また，テイスティングなど測定対象によっては，被験者が回答項目における印象を正しく評価できる能力を持ち合わせなければならない場合もあり，被験者に一定の訓練が必要な場合もある．

2）修飾語対の選択と配置

修飾語対には，「明るい―暗い」「珍しい―ありふれた」「濃い―淡い」などのように，測定対象の性質や属性に関する印象を評価するものと，「良い―悪い」「欲しい―欲しくない」などのように，測定対象の総合的な価値を評価するものがある．回答形式を作成する際には，修飾語対自体の特性を考慮し，類似した修飾語対は続けて配置しない，総合的な価値を評価する修飾語対は全修飾語対の最後の方に配置するなど注意が必要である．前者は，回答の際に被験者の評価に迷いが生じてしまうこと，後者は，一連の評価の初期段階で総合的な価値を判断することによって生じる対象に対する先入観を除くためである．

SD法は対象に対する印象を多角的に分析・把握できる技術であり，これまで多くの企業や研究機関で用いられてきた．しかし，本節で紹介したように，実験者のアンケート設計の労力や被験者の評価負担も大きく，リアルタイムにユーザの感性情報を利用するようなシステムへの応用は困難であると考えられる．

2.3　感性情報の動的な利用とは

現代では，多くのユーザがパソコンやスマートフォンを介して，インターネット上から多くの情報を得られ，情報も日々更新されている．このような環境では，その場その場に合わせて，さまざまな情報を動的に利用し，ユーザが所望する商品検索やレコメンドが重要になってくる．このためには，ユーザの感性情報をあらゆる形で取得し，利用する数理モデルが必要である．ユーザの感性情報を動的に利用するようなシステムでも，2.1節で述べた感性情報の数値化に関する問題は想定される．すなわち，ユーザに対象が好きか嫌いか，使いやすいか使いにくいかなど，直接の感性情報に関する回答を求めることやWebサイトの閲覧履歴や時間など間接的な情報からユーザの嗜好を推測することの両方が必要になってくる．

感性情報の動的な利用により，従来のアンケート解析では実現が困難であったリアルタイムにユーザの感性情報を学習する数理モデルが構築できると考えられる．第3章以降では，このように感性情報を動的に利用できる技術の1つとして期待されているIEC手法について紹介する．

3．ユーザの感性情報の動的な利用

3.1　対話型進化計算の概要

IECは，EC処理における解候補の表現型をユーザが評価できる音や画像などで構成し，評価関数の代わりにユーザの感性評価を用いて解候補を評価し，進化させる手法である[12]．IECでは，解候補はユーザの満足のいくデザインに向かって進化する．このため，IECは定量的に評価することが比較的困難な製品のデザインなどの感性評価や，ユーザ個人の主観評価が必要となる製品のカスタマイズなど，人の好みや主観が考慮されるべき問題に対して有効とされている[20]．さらに，EC処理によって生成される解候補群がユーザにとって思いも寄らない意外な発見を与えることがある．これは，EC処理に含まれるランダム要素によって，ユーザの目標とするデザインとは一風変わったデザインを提示するような場面などで体験できる．

IECの起源は，1986年にDawkinsが提案したバイオモルフであるとされている[21]．このシステムでは，簡単な生成規則に従って描かれた模様が，これらの規則の突然変異やユーザの選択によって複雑で興味深い形態へと進化することが報告されている．この研究に対して，研究者はもとより，多くのアーティストも興味を示し，グラフィックアートなどに同様の手法が応用されるようになった．その後，IECという用語がECをはじめとするソフトコンピューティングの分野などで1990年代に広まり，ユーザが好む音や衣服デザインなどを生成するIECシステムが数多く提案され，研究が進められるようになった．

IECを用いたシステムに関する研究では，ユーザの感性に合った画像を検索するシステム[22]や衣服のデザイン支援システム[17],[23]，配色支援システム[24]，電化製品のサイン音や声質チューニング[25],[26]，ロボットの動作を生成するシステム[27]，補聴器フィッティングシステム[28]など，さまざまなものをデザインするシステムが提案されている．また，芸術分野や教育分野への応用も行われている．芸術分野の代表的なIECシステムには，Dawkinsが提案したバイオモルフ[21]やUnemiが提案しているSBArt4[29]などがある．教育分野においては，子どもの作文支援におけるストーリ作成システムなどがある[30]．なお，2001年頃以前のIECに関する研究事例については，多くのIEC関連システムが紹介されている文献[12],[20],[31]などを参照されたい．本稿では，文献[12],[20],[31]以降のIEC研究事例やIECにおける諸問題の解決方法に重きをおいて，紹介していく．

3.2　基本アルゴリズム

IECの代表的な手法に，対話型遺伝的アルゴリズム（Interactive Genetic Algorithm：IGA）がある．遺伝的アルゴリズム（Genetic Algorithm：GA）は，1975年にHollandらによって提案された近似解を探索するメタヒューリスティックアルゴリズムであり，EC技術の代表的な手法である[32]．これまでのIECにおけるECアルゴリズムでも，GAがよく用いられている．

まず，対話型でない通常のGAについて処理手順の概要を述べる．図3にGAの流れを示す．図3では，GAの解候補における遺伝子型はビットパターンで表現している．まず，初期解候補集団をランダムなビットパターンによって生成する．次に，解候補を表現型に変換し，評価関数を用いて評価する．評価が終了すると，各解候補の評価値を基に，選択・交叉・突然変異処理が行われ，新たな解候補が生成され，再び評価される．このような処理を繰り返し，評価関数を満たす解候補を生成していく．

選択処理においては，解候補ごとに与えられた評価関数による適応度（評価値）を用いて，親となる解候補が確率的に選択される．すなわち，適応度が高い解候補ばかりが選択されるのではなく，適応度の低い解候補にも選択される機会がある．選択された親解候補は，次世代の子孫となる子解候補を生成するために用いられる．一般的な選択処理には，解候補ごとの適応度に比例した選択確率が与えられ，その確率に従って親解候補が選択されるルーレット選択や適応度の期待値に比例した選択確率を用いる期待値選択，適応度の順位によって選択確率が与えられるランク選択などがある．

次に，交叉処理においては，選択処理で選択された親解候補から子解候補を生成する．図3では，一点交叉と呼ばれる方法を用いている．これは，2つの親解候補の遺伝子列を1カ所で前後半部分に分け，後半部分のみを入れ替えることによって，新たな2つの子解候補を生成する方法である．一点交叉以外にも，複数点で親解候補を分割する複数点交叉や親解候補の適応度を交叉に反映させる一様交叉と呼ばれる方法がある．

最後に，突然変異処理においては，交叉処理によって生成された子解候補の遺伝子座を一定の割合で変化させる．このときの割合は突然変異率と呼ばれ，通常数%以下がよいとされている．突然変異処理の役割は，類似した子解候補同士が解候補集団に広がることを避け，よりバリエーションの高い解候補集団を生成できるようにすることである．

これらの処理以外にも，ある世代における最良解候補を次世代にそのまま引き継ぐエリート保存戦略がある．GA処理では，選択，交叉，突然変異の一連の操作によって生成された解候補群の適応度がいずれも前世代の最良適応度より低くなってしまうことがしばしば起きる．エリート保存戦略は，最低でも前世代の最良適応度を維持し，解候補群の改悪を防ぐために用いられる．

IECは，図3における評価関数による解候補評価がユーザの感性に基づく評価に置き換わったものに他ならない．図4にIECの解候補探索におけるユーザとEC技術の関連を示す．ECにおいては，ユーザが評価する表現型空間を構成するための遺伝子型空間がビットパターンや実数値列で定義されている．IECでは，ユーザはシステムによって遺伝子型と対応付けられた表現型（図4ではランニングシューズデザイン）を評価する．表現型はシステムによって，音・画像・動画などさまざまな対象として定義される．IECシステムでは，遺伝子型空間における遺伝子型生成と表現型空間におけるユーザの評価が協調して，ユーザが満足のいく解候補が生成される．

IECシステムを設計する上では，表現型空間において，ユーザが個々の表現型に対して感じる類似性と，遺伝子型空間において生成される遺伝子型同士の類似性を対応付ける必要がある．この対応付けは遺伝子コーディングと呼ばれ，この良し悪しがECにおける解候補の進化性能を大きく左右する．これは，遺伝子型がわずかに変化した場合に表現型が大きく変化してしまうと，類似した遺伝子型であってもユーザにはまったく関係がない対象であると判断してしまうためである．これによって，遺伝子型空間では解候補同士が似通っているにもかかわらず，表現型空間では異なる解候補と判断され，両空間の整合性を取りにくく，解候補の進化に悪影響を及ぼすことが想定される．

3.3　対話型進化計算における課題

IECにおいては，ユーザがIECシステムにより提示された表現型を評価する際の肉体的心理的負担が大きな問題となっている．IECと通常のECにおける大きな違いに，「IECでは，通常のECのように，膨大な解候補数や世代交代数を設定しにくい」という点がある．表1にIECと通常のECにおける差異を示す．ECでは解候補の評価を評価関数が行うため，ユーザが一連のEC処理過程に介入する必要はない．このため，ECでは，毎世代数百以上の解候補を評価し，世代交代数も膨大な回数を繰り返すことが可能である．しかし，IECでは，毎世代数百から数千の表現型に対して，ユーザが「好き」や「嫌い」，「やや好き」といった感性評価を繰り返すことは現実的ではなく．多大な負担をユーザに強いることになる．このため，通常は，IECではユーザの評価負担軽減の面からも，解候補数は多くても20個程度，世代交代数も10～20世代程度に限らざるを得ない．

また，IECの黎明期では，解候補1つ1つに5段階や10段階の評価値を与える段階評価方式が一般的であったが，ユーザの評価負担は大きなものであった．段階評価方式では，たとえば，以前に与えた評価値7と現在与えようとしている評価値7は，自身にとって同程度の評価値なのか，ユーザが迷ってしまい，心理的負担につながってしまうことが想定される．また，ユーザが解候補に対する好みの度合を数値で表現し，評価付ける作業自体にも困難さが伴う．このように，IECでは，ユーザの評価負担軽減が大きな課題となっており，一般のユーザが使用できる応用システムの開発を困難にしている1つの要因であると考えられる．これらの課題を解決するために，たとえば，以下のようなアプローチが提案されている．

• 1）評価インタフェースの改善
• 2）解候補の多様性維持
• 3）ユーザの生体情報の利用

1）では，たとえば，段階評価方式に代わり，ユーザに複数の解候補から好みの解候補だけを選択してもらう選択式評価手法がある[33],[34],[35],[36]．評価作業自体を単純にする手法は，ユーザの負担軽減のみならず，IECの応用システムにも直接的に寄与すると考えられる．しかし，評価作業が単純化されると，解候補それぞれの評価値も粗くなってしまう．たとえば，10個の解候補からユーザが好みの解候補だけを選択した場合，解候補の評価値は選択された場合は1点，されなかった場合は0点のように2段階でしか評価できず，解候補集団がうまく進化しないケースが想定される．このため，ユーザの評価作業を単純化した場合は，ECアルゴリズムを改善するなどして，評価値の粗さをカバーできる仕組みが必要である．

2）では，たとえば，通常のECとIECのハイブリッドアルゴリズム[37]や多峰性探索に優れた免疫アルゴリズム（Immune Algorithm：IA）を用いた手法[38]などがある．通常のECにおいて生成された解候補は，世代交代が進むに連れて収束し，解候補同士の類似性は高くなる．IECでも同様の現象は発生するが，これがユーザに解候補評価の飽きや負担を発生させるおそれがある．すなわち，IECにおいて，ある程度世代交代が進むと，ユーザは見た目がきわめて類似したデザインを複数個評価しなければならなくなる．この問題を解決する1つの方法として，解候補全体の多様性を維持しつつ，ユーザの所望するデザインを多峰的に探索できるようにすることが挙げられる．

3）では，たとえば，ユーザの心拍や脳波，視線情報をIECの解候補評価に用いている研究がある[39],[40],[41]．ユーザは，音や画像などの刺激情報を見たり聞いたりする際には，少なからずさまざまな生体反応が発生すると考えられる．たとえば，音や香りなどの刺激情報に対してそれらがユーザのリラックスできるものであれば，脳波のα波が出現したり心拍も落ち着いたりする傾向になると考えられる．また，好みの衣服デザインとそうでないデザインの両方を提示されたユーザは，自然と興味のある衣服デザインの方に視線がいく傾向があるとされている．これらの研究では，ユーザは解候補に対して直接的に評価値を与えたり，好みのものを選択したりせず，単に刺激情報を見たり聞いたりするだけでユーザの生体反応から自動的に評価値が算出され，EC処理が行われる．

1）～3）以外にも，課題解決のアプローチは存在しており，たとえば，ユーザの解候補評価の際の気づきを逐次解候補探索に反映させるオンライン知識の組み込みなどがある．Sugaharaらは，浴衣をデザインするIECシステムにおいて，ユーザが気に入った帯の色があれば，以後の世代でも帯の色を固定し，その後のデザインをしやすくしている[42]．

このようにIEC手法においては課題が散見されるが，実システムに応用されるために多方面から研究がなされており，さまざまな基本システムが考案されている．第4章では，本節で挙げたIECのユーザ評価負担軽減の取り組みを含め，IECの研究事例について紹介する．

4．対話型進化計算の研究事例

4.1　研究初期（黎明期）

本稿では，IECシステムに関する研究動向の黎明期を2000年代前半頃までとする．1990年代にIECという単語が定義され，さまざまな研究が行われてきている．研究分野が確立された当初は，IECにおけるさまざまな性能評価と利用可能性について検証されたことが，さまざまなIECシステムが提案されることにつながっている．

4.1.1　さまざまなIECシステム

Kimらは，女性用ドレスのデザインをトップス，スリーブ，スカートなど複数のパーツに分け，各パーツの組合せ最適化によってユーザ好みのドレスを生成するIECシステムを提案している[43]．図5にKimらが提案した女性用ドレスデザインの評価インタフェースを示す．この研究では，各デザインパーツはビットパターンを用いて遺伝子コーディングされ，ユーザは提示されたドレスデザインにスライダを用いて評価値を入力する．

伴場らは，インテリアレイアウトをデザインするIECシステムにおいて，レイアウトに関するユーザの評価値と生成されたレイアウトの日当たりや家具の配置などを評価するエージェントの評価値の2種類を用いてIECを実行するシステムを提案している[16]．インテリアレイアウトにおいてはユーザの嗜好も重要であるが，日当たりなど日々の生活で欠かせない要因も最適化されることが望ましい．この研究では，これら双方の要望を反映できるIECシステムが構築されている．

このような研究事例の一方で，IECにおけるユーザの評価作業のしやすさに焦点を当てた研究も存在する．これらの研究事例は，後のIEC技術の展開において礎となっている．

Oliverらは，WebサイトをデザインするIECシステムを構築している[44]．この研究では，ユーザが選択式評価手法によって好みの解候補を複数個選択する評価インタフェースを採用し，ユーザが選択した解候補数によって，GAにおける次世代の解候補の生成方法を変化させている．

Hayashidaらは，自己組織化マップ（Self-Organizing Map：SOM）を用いて，IECにおける解探索過程を可視化する手法を提案している[45]．通常のIECでは，ユーザは提示された解候補のみを把握することしかできず，これまで評価してきた解候補との関連性を確認することは，ユーザ自身の記憶に頼るしかなかった．この手法では，SOMによる解探索過程の可視化により，解候補の収束性が向上することが確認されている．図6にHayashidaらが提案した評価インタフェースを示す．ユーザは，図6中右上の世代交代数表示の下ウィンドウで解候補の探索過程を確認できる．

4.1.2　複数ユーザの感性情報の利用

黎明期のIECでは，1人のユーザの感性情報を用いてそのユーザの好みの解候補を生成することが目的となっている場合が多い．しかし，現実の場面では，複数人で対象をデザインしたり評価したりする機会は多く，EC技術を応用する対象となっている．

田川らは，ネットワーク接続されたIGAシステムを数人のユーザが個別に操作し，建築物の内装をデザインする手法を提案している[46]．この手法では，一対比較法による各ユーザの評価結果から解候補の評価値を算出している．さまざまなユーザを被験者とした評価実験より，合意形成にIGAを用いることは有効であるとされている．

三木らは，島モデルGA手法をIECシステムに応用し，合意形成を目的としたIECシステムを提案している[47]．島モデルGAでは，複数のGAを島として独立させて実行し，定期的に島同士の解候補を移住させ，最終的に多様な特性を持つ解候補を生成する[48]．各島はそれぞれ異なる評価関数を持ち，解候補を独自に進化させる．図7に三木らが提案した島モデルGAを応用したIECシステムの概要を示す．このシステムでは，各島の評価関数が各ユーザの評価に置き換わり，島ごとに衣服の配色を5段階で評価する．評価実験の結果より，この手法は合意形成に有効であるとされている．

このような研究事例の一方で，複数人の感性評価をIECシステムに取り入れる際には，各ユーザが同時に解候補評価に参加する必要はなく，協調フィルタリングのような考え方で，過去のユーザの評価事例を解候補探索に活かそうとした研究がある．Henmiらは，「何もしないよりは，不確かな他人の評価特性を使ってでも，ユーザの疲労軽減や解探索の高速化に役立たせた方が良かろう」というコンセプトに基づいたIECシステムを提案している[49]．この手法は，ユーザ本人の評価とあらかじめコンピュータに組み込まれた複数のユーザの評価特性による評価の両方を用いて，解候補を評価するIECシステムである．シミュレーション結果より，複数のユーザの評価特性を用いない場合と比較して，解候補の収束性が向上することが確認されている．

本節では，IECの黎明期における研究について俯瞰してきた．これらのシステムは，4.2節で述べる展開期においても礎となり，さらに多くの研究事例が発表されている．

4.2　研究の展開（展開期）

本稿ではIECの展開期は，黎明期後半から現在までとしている．2000年代後半になると，コンピュータのスペックも上がり，Unityなどのコンピュータグラフィクスに関するプログラミング環境も充実してくる．また，インターネットの一般普及が加速し，携帯電話市場にスマートフォンが登場することにより，IECの分野においてもアプリケーションを意識したシステムが提案されるようになっている．このように研究者や開発者を取り巻く環境がハードウェア・ソフトウェアの両方の面で大きく発展し，黎明期の研究事例を礎に，さらなるIECシステムが提案されている．本節では，これらの研究事例について，評価インタフェース・ECアルゴリズムの改良，複数ユーザの感性情報の利用，多目的・多峰的な解探索，ユーザの生体情報の利用，深層学習手法との連携の観点よりまとめている．

4.2.1　評価インタフェースの改良

3.3節で紹介した評価インタフェースの改善においては，選択式評価手法がさまざまな形で実現されている．たとえば，解候補をトーナメント表に配置し，一対比較で良し悪しを評価していくトーナメント式評価手法がある[33],[34]．一対比較評価の利点は，音や動画などの時系列データを評価する際に発揮される．時系列データを評価する際には，解候補を見たり聞いたりするのに一定の時間を要するため，一度に数個の解候補を評価し，評価値を与えることは困難である．しかし，一対比較評価では，ユーザは2つの解候補の良し悪しを比較するだけで済み，評価負担は従来の段階評価手法に比べて大きく軽減できることが報告されている[34]．

評価インタフェースの改良においては，タブレット端末の普及も相まって，これまでの段階評価手法も行いやすくなっている．従来の段階評価手法の実装は，主にパソコン向けのアプリケーションであり，評価値が記載されたボタンをクリックしたり，スライドバーを左右に操作したりすることが一般的であった．しかし，タブレット端末の登場でユーザは指で解候補を移動させるフリックという操作が可能になった．この操作を用いて，安藤らは買い物インタフェースなる評価手法を提案している[50]．図8に安藤らが提案した買い物インタフェースを示す．このシステムでは，ユーザが（1）のエリアにある音楽で表現された複数の解候補（カラーの円図形）の中で気に入った解候補を（2）比較エリアへ移動させ，さらに（3）購入エリアまたは（4）あとで購入エリアへ移動させる．（5）はゴミ箱エリアであり，気に入らなかった解候補が入れられる．

4.2.2　ECアルゴリズムの改良

IECにおけるECアルゴリズムの代表的な手法はGAであるといえるが，他のECアルゴリズムを適用しようする研究が行われている．たとえば，4.2.1項で紹介した選択式評価手法について，ECアルゴリズム内で一対比較によって解候補を評価する操作が組み込まれている差分進化（Differential Evolution：DE）[51]という手法が応用されている．これまでに，DEをIECに応用した対話型差分進化（Interactive Differential Evolution：IDE）という手法も提案され，ECアルゴリズムの新たな利用が実現されている[36],[52],[53]．

選択式評価手法においては，局所探索法であるタブーサーチ（Tabu Search：TS）[54]を応用して，ユーザが複数の近傍解候補の中から好みの解候補を1つだけ選択する対話型タブーサーチ（Interactive Tabu Search：ITS）が提案されている[35]．この研究では，TSの局所探索によって，毎世代同じような解候補が提示されるが，解候補の進化性能はGAを用いるよりも高いことが示されている．

ほかにも，解候補を木構造で表現する際には遺伝的プログラミング（Genetic Programming：GP）が用いられたり，粒子群最適化（Particle Swarm Optimization：PSO）や焼きなまし法（Simulated Annealing：SA）を用いたりして，GAでは実現できない解候補の探索方法を提案する取り組みがある[13][55],[56],[57]．高木らの調査によれば，GAは幸いにも，評価値の量子化がある程度粗くなっても進化性能は維持され，ロバストであるとされている[58]．このため，ユーザが段階評価手法において5段階や10段階で解候補を評価しても，ある程度解候補は進化する．しかし，ほかのECアルゴリズムを応用する際はこの限りではなく，さまざまな工夫が行われている．

4.2.3　複数ユーザの感性情報の利用の発展

4.1.2項で述べた複数ユーザの感性情報をIECに反映させる手法も展開期ではさまざまに拡張され．多くのユーザの投票行動によって解候補を進化させる投票型IECシステムが提案されている[59],[60]．投票による解候補評価では，SNSの普及により，たとえばFacebookの「いいね！ボタン」やTwitterのリツイート機能などを利用して，Web上で不特定多数のユーザの感性を投票として獲得できるようになってきている．Takenouchiらは，不特定多数のユーザからのWeb投票による評価情報をIECの解候補評価に用いることを想定した複数ユーザ参加型トーナメント方式を提案している[59]．この研究では，多くのユーザが手軽に投票することを可能にするため，一対比較評価インタフェースが用いられている．また，坂井らは，投票を得る際に街中のデジタルサイネージなど多くの人が目につく場所に解候補を提示し，その場で投票してもらうIECシステムを提案している[60]．これらの研究ではある程度の投票数を獲得できれば，多くのユーザが満足のいくデザインを生成できることが確認されている．図9に坂井らが提案したデジタルサイネージ投票IECシステムの外観を示す．このシステムでは，デジタルサイネージに提示されたコーディネートに対して，道行く人が投票することで，さまざまなコーディネートが生成される．

畦原らや井上らは，複数人が会議のような場で合意形成を行う際に，IECを応用するシステムを提案している[61],[62]．これらのシステムでは，複数のユーザの解候補に対する評価値を用いて解候補を進化させるが，評価中にはユーザ同士の相談や会話を許容し，実際の議論ベースで動作させる実験が行われている．その結果，単にIECシステムを各ユーザが操作するだけでなく，ユーザ同士がコミュニケーションを取りながら解候補の良し悪しを決めたりする方が参加ユーザにとって満足度の高い解候補が生成できるとされている．

4.2.4　多目的・多峰的な解候補探索

4.2.3項に関連して，複数のユーザがIECの解候補評価に参加した場合，各ユーザが満足のいくデザインを生成しようとするとEC処理における評価関数が複数用意されたことになり，多目的最適化の技術が重要になる．すなわち，通常のGAなどの単峰的探索手法のみでは，複数ユーザの感性に合った解候補を生成することは困難である．また，ユーザが1人の場合も，ある対象に対して複数のタイプのデザインが好みである場合は容易に想像できる．たとえば，衣服デザインについて，カラーや模様が異なるデザインがあった場合に両方とも好みであると答えるような場面である．このような要求を満たそうとすると，多峰的に解候補を探索するEC技術が必要になってくる．

Nishinoらは，IAを用いたIEC手法を提案している[38]．この手法では，IAの適用により，解候補の多様性が確保されることが確認されている．伊藤らは，クラスタリング手法を用いたユーザの嗜好の多峰性に対応した解候補生成手法を提案している[63]．この手法では，クラスタリング手法を用いることにより，ユーザの嗜好に合ったさまざまな解候補を提示できることが確認されている．Guoらは，多目的最適化をIECに応用した手法について，数値シミュレーションベースで検証を行っている[64]．

4.2.5　生体情報の利用

これまで紹介してきたIECシステムにおける選択式評価手法では，ユーザの評価負担軽減が実現されているものの，ユーザが解候補に対して明示的に評価を付与することに変わりはない．すなわち，ユーザには解候補評価作業が発生し，ユーザは解候補に対して抱いた印象を意識的に選択や評価値付けなどの行動を通して表現しなければならない．この点について，ユーザが解候補を見たり聞いたりしたときに発生すると考えられるユーザの生体情報を用いて解候補評価ができれば，新たなIECシステムの提案につながると考えられる．

IECの解候補評価にユーザの生体情報を用いる際には，脈拍や脳波を利用している研究事例がある．福本らは，ユーザに解候補を提示したときの脈拍情報をIECの解候補評価に用いている[39]．同様に脳波情報を用いたIECシステムも提案されている[40],[65]．

しかし，ユーザの心拍や脳波などを測定する際には，ユーザは心拍計や脳波計などの装置を着用しなければならず，一般に普及するIECシステムの構築は困難である．この問題を解決するためには，ユーザの視線情報などユーザが計測装置を着用しなくても測定できる生体情報を利用できれば効率的であると考えられる．視線情報を計測する際には，ユーザは測定装置を着用する必要がない．また，「目は口ほどにものを言う」ということわざもあるように，ユーザの視線情報には潜在的な嗜好が含まれていると考えられている．

視線情報を用いたIECシステムでは，ユーザの視線情報をIECの解候補評価に用いて，ユーザの好むものを動的に生成する．視線IECに関するシステムは，これまで複数のシステムが構築され，ユーザが満足のいく解候補を生成できることが確認されている[41],[66],[67],[68],[69]．図10に視線情報を用いたIECシステムの概要を示す．このシステムでは，ユーザは提示された解候補群を自由に眺めるだけでよいという長所から，ユーザの評価負担を軽減できることも確認されている．

視線情報を用いることで，たとえば，多人数による解候補評価も容易になる．4.2.3項で紹介した投票型IECにおいて，投票の代わりに複数ユーザの視線情報を解候補評価に利用できれば，ユーザの評価にかかる手間を軽減できると考えられる．磯田らや藤﨑らは，坂井らが提案した投票型IEC[60]において，ユーザの視線情報を用いて解候補を評価するIECシステムを提案している[70],[71]．これらの研究では，基礎実験により多くのユーザが満足のいくデザインを生成できることが示唆されている．

4.2.6　Deep Learning手法との連携

IECシステムにおいては，遺伝子型における次元数が大きくなりすぎる，すなわち解候補空間が大きくなると最適化が困難になるという問題がある．これは，通常のEC手法においても同様の問題であるが，IECの場合は，世代交代数や解候補数がECに比べて非常に少なくせざるを得ないことから，顕著な問題である．

この問題を解決し，解候補の表現型のバリエーションを増やすため，深層学習の1つである敵対的生成ネットワーク（Generative Adversarial Networks：GAN）を用いたIECシステムがある[72]．GANは，低次元の入力データから画像などの高次元の擬似データを生成する手法である[73]．GANでは，擬似データを生成するネットワークと生成された擬似データを識別するネットワークが競合することで，低次元入力データと高次元擬似データの対応付けを行い，さまざまな高次元データを生成できる．

図11にBontragerらが提案したDeepIECの概要を示す．DeepIECでは，GANに入力する低次元データをIECによって最適化し，GANの生成ネットワークによって解候補の表現型を生成している．これにより，IECにおける表現型のバリエーションの増加を実現している．

4.3　応用的研究事例

4.1節と4.2節にて，これまでのIECシステムに関する研究を俯瞰してきた．IECシステムは研究がはじまって30年程度経つが，これまでに多くのIECシステムが提案され，さまざまな発展を遂げてきた．しかし，実際に世の中に普及しているIECシステムは少ない．本節では，実際に一般に利用されたIECのより実応用的な研究事例を紹介する．

大谷は，EC技術を応用して，個人の感性を反映したメロディを作曲するシステムを提案している[74],[75]．この研究では，複数の楽曲からピッチやメロディなどさまざまな特徴量を抽出し，共生進化手法によって，楽曲の特徴を反映させたメロディを作成する．このシステムは，実際に，企業のサウンドロゴを生成したり，アーティストの作曲支援に利用したりされている．アーティストの作曲支援においては，システムによって生成されたメロディを基にアーティストが新たな曲を作成する．このシステムでは，ユーザは複数の楽曲を自身の感性によって選択し，それらを入力するだけである．また，このシステムを使う上では，共生進化により自動的に生成されたオリジナルメロディが気に入らない場合は，ユーザは再び楽曲を入力し，メロディを生成しなおすことになる．このシステムが通常のIECシステムと大きく異なる点は，ユーザに複数回の解候補評価を要求しないことである．このように，今後，IECシステムが実環境で応用されるためには，使用場面に応じた柔軟な変化も必要になると考えられる．

5．感性情報処理の今後に向けて

本稿では，ユーザの感性情報処理におけるポピュラーな手法であるSD法について述べ，ユーザの感性情報を動的に利用し商品を生成したりレコメンドしたりできる有用な技術の1つであるIEC手法について解説した．IECシステムに関する研究は，IECが登場してから30年程度の間に数多く提案されている．しかし，これまで実環境で応用されたIECシステムは多くはない．IECシステムが実環境で応用されるためには，利用形態や最適化対象に合わせて，IECシステム自体が柔軟に変化する必要があると考えられる．たとえば，製品のカスタマイズなどユーザが複数回の解候補評価を連続して行える場面もあれば，レコメンドシステムのようにユーザの直接的な評価以外の要素が必要な場面もある．このような場面に応じて，IECシステムのECアルゴリズム，評価インタフェース，解候補設計，遺伝子コーディングなどさまざまな要素を工夫していくことが，今後のIEC研究の将来を左右すると考えられる．本稿がIEC手法の応用システム実現の一助になれば幸いである．