昨今のメールやソーシャルメディアなどにおける文章表現を考えるとき,「絵文字」は必要不可欠な存在となっている.これは世界で共通する現象であり,“Emoji”は世界語と位置づけられている[1].実際のところ,EmojiはUnicode [2]にも採用されており,オペレーティングシステムを越えてユーザ間の感性情報の伝達に寄与している.
EmojiがUnicodeに採用されたのは2010年である.それ以前には,文章中における感性情報の伝達には,文字や記号を組み合わせた電子表情である「フェイスマーク(Smiley),顔文字」が主に使われていた.: -)のような「コロン」や「ハイフン」などの組み合わせで構成するSmileyは,1970年代に欧米で,文章だけでは表現しきれない感情のニュアンスを補うものとして誕生した[3], [4].これが,キーボード入力が一般的となりつつあった当時の日本の文化にも溶け込み,日本独自の記号も駆使して新しいマークが次々と生まれ,フェイスマークと呼ばれて定着した[3].国内では1986年に,いわゆるパソコン通信で使われ始めたのが最初のようである.ただし,Smileyでは: -)のように顔を転倒して表すのに対して,フェイスマークでは(^-^)のように正立のまま表す場合が多い.
近年では絵文字が主流で,フェイスマークはプレインテキストによるメールに使われる程度となっていた.しかし,今,フェイスマークが復権しようとしている.かつてはビジネスメールに絵文字やフェイスマークを使うことは厳禁とされてきたが,最近ではフェイスマークを積極的に利用すべきであるという意見も散見される[5], [6].また,2020年になってからコロナウィルスの感染防止のために多くのオンライン会議が開催されるようになり,その会議中の情報交換にチャットメッセージが使われている.さらには,遠隔勤務による共同作業や,オンライン授業の受講生間の共創学習用途にコラボレーションツールが用いられ,そこではチャットメッセージが主要な情報交換ツールとなっている.キーボード入力によりチャットメッセージを書く場合には,フェイスマークが重宝されているのである.そこで,本研究ではフェイスマークが伝達する感性情報に着目する.
フェイスマークや絵文字は,文字メディアにおいて感性情報を伝達することが期待される一方で,送り手の感情が正しく伝達されているという確証が得られていないのが実情である.すなわち,多義性があり意味が曖昧なため,安易に使うと誤解を生む危険性が指摘されている[4], [7], [8], [9].そこで,これまでにもフェイスマークや絵文字が伝達する感性情報に関する研究が行われてきた.たとえば,フェイスマークの読解に関して,「快–不快」や4種類の基本感情(怒り,喜び,悲しみ,罪悪)を実測し分析した研究がある[7], [9].また,絵文字の感性評価を,パーソナリティ特性の分類法である主要5因子(ビッグファイブ)に基づいて検討した研究がある[10].これら特定の評価語といった外的基準を用いた測定に基づく研究は,着目した性質に関して考察するのに適している一方で,選定した基準に含まれない性質を見逃すことが懸念される.そこで,本研究では,外的基準を設けることなく,フェイスマークの類似度を測定することで,伝達される感性情報を読み解くことを目的とする.
そのために,本研究では二つの実験を行う.実験1では,フェイスマークの類似度を測定し,多次元尺度構成法[11], [12]により分析することで知覚の要因を探る.実験2では,感情・表情に関する評価語対を用いた実験を行い,実験1で得た知覚空間の意味を解釈する.さらに,実験2の結果を因子分析し,知覚の要因をより深く検討する.
実験1と2で共通して用いる刺激として,比較的シンプルであり,かつよく使われるであろうと判断した代表的なフェイスマークを文献[4], [13]を参考にして選定した.実験1についての実験時間が約1時間となることを想定して,刺激の数は26種類とした.選定結果を図1に示す.フォントはMS Pゴシックを用いた.
図2に示すとおり,21インチディスプレイ(飯山電機,A102G)上に二つのフェイスマーク(W:約10 cm × H:約8 cm)を並べて提示した.被験者は,ディスプレイ前面から目までの距離が約50 cmとなるように着座して評価を行った.被験者には,「各々のフェイスマークが表現する感情を読み取ったうえで,それらがどの程度似ているかを回答する」ように教示した.評定尺度は「区別がつかない」から「非常に異なる」までの7段階であり,0~6の尺度値を割り当てた.評価用紙の例を図3に示す.
被験者は,提示された二つのフェイスマークについて評価を行ったら,マウスの左ボタンをクリックすることにより,次の刺激対を提示させるという手順で,実験を続けた.評価回数は650回(刺激の順列の数26P2)であり,225ペアを2セッション,200ペアを1セッションとした計3セッションを10分間の休憩を挟んで行った.被験者は成人男性6名,成人女性1名の計7名である.
非類似度データを主観的距離とみなし,多次元尺度構成法(統計解析パッケージSASのmdsプロシジャ[14],モデル:INDSCAL,水準:ORDINAL,オプション:UNTIE)を利用して,刺激を空間に布置することとした.
まず,次元数の増加に対するBadness-Of-Fit Criterion [14]の変化を図4に示す.この指標は,寄与率をR2としたとき,ほぼ$\sqrt{1 - R^2}$に対応するものである[14].次元数の増加に対するBadness-Of-Fit Criterionの減少傾向が,ある次元数を境にして急激に変わる「肘」がみられれば,それが最適な次元数となる.しかし,図4では肘を見つけるのは困難である.そこで,本稿では,Badness-Of-Fit Criterionが0.2を下回る(R2は約0.96を上回る)ことを規範として,4次元解を採用することとした.
多次元尺度構成法のINDSCALモデルでは,被験者全員の非類似度評価に共通するモノ空間を仮定する.そして,類似度評価における個人差は,共通モノ空間において非類似性を評価するときの各成分に対する重みの違いとして表現される[11], [12].
7名の被験者(a~g)について各軸への評価の重み付けを表すヒト空間を,1–2次元と3–4次元に分けて図5に示す.図示した数値は差異について統計学的有意性を検定できるものではないが,被験者a~dのように1–2次元に対して相対的な大きな重みをもつ者と,被験者e~fのように3–4次元に対して相対的に大きな重みをもつ者がいる.この意味については,次節において検討する.
共通モノ空間における刺激の布置を,1–2次元と3–4次元に分けて図6に示す.この4次元空間における各軸の解釈を試みる.
まず,図6(a)の1–2次元空間を取り上げる.目許が笑っているフェイスマークが1軸の負の側に布置され,悲しみを表すフェイスマークが正の側に布置されている.このことから,1軸は「喜び–悲しみ」あるいは「感情価」という感情尺度に関する次元であると考える.次に,2軸に関しては,怒りを表すフェイスマークが負の側に位置し,安堵感を表すフェイスマークが正の側に位置している.このことから,2軸は「興奮–沈静」あるいは「覚醒度」という感情尺度に関する次元であると考える.感情価と覚醒度は,感情に関するラッセルの円環構造モデル[15]を構成する2軸である.また,1軸・2軸はプルチックの感情の輪[16]における「喜び–悲しみ」・「怒り–恐れ」という基本感情にそれぞれ対応していると考える.これらのことから,フェイスマークによって感情の基本要素が伝達されていることが分かる.
続いて,図6(b)に示した3–4次元空間について考える.3軸の左側には,汗を意味するセミコロンがついたフェイスマークが布置している(涙を意味するセミコロンを含む(;_;),(;o;)は右側に布置している).筆者は,たとえば純粋な喜びを(^o^)で表すところ,恥じらいを含む場合には(^o^;)のようにセミコロンを付加する.また,3軸の左端には,「すっかり参りました」といった文章の後に付加される(+_+)や(*_*)がある.これらはある種の動揺を表しているものと推察する.最後に,4軸については,構成要素数が少ない割に幅の広い(´-`)などのフェイスマークが下側にあり,逆に上側には構成要素数が多い割に幅の狭い(--#)や(;o;)などが布置している.このことから,4軸は感情というよりは,フェイスマークの形象としての表情が与える印象に関連しているものと解釈する.
以上,実験1では外的基準を用いない類似度測定を行い,その結果を多次元尺度構成法により分析することで,フェイスマークは感情価・覚醒度といった基本感情に加えて,付加的な感性情報も伝達していると考察した.
ところで,前節において,1–2次元あるいは3–4次元に対して相対的に大きな重みをもつ被験者がいることを述べた.本節における考察に基づくと,それらはそれぞれ基本感情あるいは付加的な感性情報を重視する被験者であると考えることができる.一方で,各軸へのバランスとしては,1–2軸に関して被験者dが1軸側に大きな重みを示していることを除けば,顕著な違いはみられない.以上から,フェイスマークの類似度評価にあたり,基本感情あるいは付加的な感性情報に関する評価については,被験者ごとに極端に異なる重み付けはしておらず,共通した感性情報が読み取られていることが示唆された.
本章では,外的基準を用いた測定を行うことを通じて,図6に示したモノ空間の解釈をさらに深めることを目的とする.前章で,各軸は感情・表情に関連することが推測されたので,本章では積極的に感情・表情に関連する評価語対を用いた評価実験2を行うこととした.
実験はSD(Semantic Differential)法により実施した.心理学事典[17]や先行研究[18]を参考にして,人間の基本感情である「喜怒哀楽」が含まれるように評価語対を選んだ.それらに加えて,「温和な–厳しい」といった表情を表す評価語対,さらに「自然な–人工的な」といった顔の形に関する評価語対も選んだ.以上の観点から選定した30組の評価語対の一覧を表1に示す.
実験系は実験1と同様である.ただし,実験1で用いた26種類のフェイスマークを,一つずつ順に画面の中央に提示した.それぞれのフェイスマークに対して,表1に示す30組の評価語対(A–B)のそれぞれに関して,「非常にA」,「かなりA」,「ややA」,「どちらでもない」,「ややB」,「かなりB」,「非常にB」の7段階で評価した.それぞれの段階には1~7の尺度値を割り当てた.評価語対の提示順は,表1に示したとおりである.ただし,実際の評価用紙では,正の意味を持つ評価語が評価用紙の片側に並ぶことがないように,ランダム化しておいた.評価用紙の例を図7に示す.実験2では実験1の感性評価における意味を探るため,被験者は実験1に参加した者から選ぶことが自然であると考え,実験1に参加した成人男性6名とした.
全被験者についての評定結果を平均し,ある刺激に関する評価語対ごとの尺度値を算出した.このようにして得た評価語尺度を,実験1で得られた共通モノ空間に,矢印で方向付けした.そのために,各刺激についての4次元空間の座標を説明変数とし,感情・表情評価語の尺度値を目的変数として,重回帰分析(SASのregプロシジャ)を行った.重相関係数を表1に示すとおり,「驚いている–驚いていない」,「深みのある–表面的な」,「焦っている–焦っていない」,「冷静な–動揺した」といった評価語尺度の重相関係数が比較的小さいことが分かる.
重回帰分析の結果を基に,各評価語尺度を,前章で得た共通モノ空間(図6)に矢印で示した[11].具体的には,偏回帰係数に基づき方向余弦を算出し,最大の偏回帰係数をもつ軸が含まれる平面に図示した.矢印の長さは,その平面への射影に対応している.なお,重相関係数に関するF検定の結果が有意ではない評価語対については,下線をつけて表示した.
方向付けされた評価語尺度に基づき,4次元空間の軸が持つ意味を解釈する.
図6(a)から,1軸に関しては,「喜んでいる–悲しんでいる」や「快い–不快な」などの評価語尺度が沿っている.また,2軸に関しては,「興奮した–落ち着いた」という評価語尺度が沿っている.このことにより,前章において示した感情価および覚醒度という考察の妥当性が示された.
図6(b)からは,3軸に関して,「驚いている–驚いていない」,「焦っている–焦っていない」,「冷静な–動揺した」といった評価語尺度が比較的近いところに沿っていることから,「驚き」,「焦り」という感情要素が関与する次元と解釈できる.ただし,上述のようにこれらの評価語尺度については,重相関係数が有意ではないため,3軸が「驚き」,「焦り」という感情要素に,完全に対応しているわけではないことには,注意が必要である.
また,4軸に関しては,「太った–やせた」,「単純な–複雑な」,「自然な–人工的な」といった評価語尺度が比較的近いところに沿っていることから,感情ではなくフェイスマークの形象から生起する印象に関する次元であるとした前章の解釈が支持される.
以上,評価語を用いた実験結果を併用することで,前章における4次元空間の解釈が妥当であることが示唆された.ここで本研究で目的とした「外的基準を設けることなく,フェイスマークが伝達する感性情報を読み解く」ことにより明らかとなったことを考察する.まず,図6における1軸・2軸である感情価・覚醒度は,先行研究[7], [9]が着目した「快–不快」や4種類の基本感情(怒り,喜び,悲しみ,罪悪)に対応するものであると考える.それゆえ,新規性はないものの,外的基準なしでも基本感情を抽出できたことは実験結果の信頼性を支持するものと考える.一方,3軸として解釈した「驚き」,「焦り」という感情要素は,本研究のプラクティスにより新たに示されたものと考える.さらに,4軸として解釈した「フェイスマークの形象から生起する印象」も本研究のプラクティスで明らかになったものであり,「フェイスマークが伝達する感性情報」として感情だけに限定して考えることの危険性を示唆するものと考えている.なお,類似度の測定データに基づいているので「形象の類似性が出現するのは当然である」という指摘もありうるが,私達には「丸顔が好き/面長が好き」といった嗜好がありえるので,4軸も感性情報の一部であると考えている.
前章までに,フェイスマークが伝達する感性情報は,感情に関する三つの次元とフェイスマークの印象に関する次元の計四つの次元で表されることが示唆された.ただし,2章で述べたように,多次元尺度構成法による次元数決定の際に,確固たる「肘」が現れなかった.これは,フェイスマークの伝える感性情報を4次元であると決め付けることの危険性を示唆している.そこで,本章では,フェイスマークが伝える感性情報について異なる視点から検討するため,実験2で得られたデータに対して因子分析を行うこととした.
実験2で得た個人ごとのデータから相関係数を求め,因子分析(SASのfactorプロシジャ)を行った.スクリープロットを図8に示す.ここでは,固有値が1以上の因子を採用することを規範として,第6因子までを抽出することにした.各評価語対が持つ六つの因子負荷量のうち,絶対値が最大のもので分け,それぞれについてソートしてまとめたものを,表2に示す.この表では,各評価語対について絶対値が最大の因子負荷量を太字で示している.
表2に基づき,フェイスマークが伝える感性情報を解釈する.第1因子(F1)に大きな負荷量を持っている評価語対は「快い–不快な」,「愉快な–不愉快な」などである.このことから,F1は図6(a)における1軸,すなわち前章までの考察に示した感情価に対応していると解釈できる.
第2因子(F2)に大きな負荷量を持っている評価語対は「ストレートな–ナイーブな」,「積極的な–消極的な」,「興奮した–落ち着いた」などである.それゆえF2は図6(a)における2軸,すなわち前章までに考察として示した覚醒度に対応していると解釈できる.
第3因子(F3)に大きな負荷量を持っている評価語対として「焦っている–焦っていない」,「驚いている–驚いていない」,「冷静な–動揺した」の三つがある.また,第4因子(F4)に大きな負荷量を持つ評価語対は,「照れている–照れていない」,「恥ずかしがっている–恥ずかしがっていない」である.前章での考察と照らすと,F3とF4が縮退して図6(b)における3軸として出現したものと解釈できる.
第5因子(F5)に関しては「単純な–複雑な」,「自然な–人工的な」という評価語対が大きな負荷量を持っている.また,第6因子(F6)については「やせた–太った」,「表面的な–深みのある」という評価語対が大きな負荷量を持っている.これらF5とF6はフェイスマークの形象に基づく印象に関与しており,前章での考察と照合すれば図6(b)における4軸に対応していると解釈できる.
以上のとおり,これら6因子は,前章までに述べた共通モノ空間の軸の解釈と対応している.F3からF6に大きな因子負荷量をもつ評価語対の重相関係数が表1において小さいのは,6因子を多次元尺度構成法により4次元に縮退させたことによる影響と考えられる.ただし,表2に示されるとおり,F4~F6についての寄与率は5%以下である.それゆえ,フェイスマークが伝える感性情報としては図6の軸に出現した4因子を考えることで十分であると考える.
もし「フェイスマークが伝える感性情報」があらかじめ知られているのであれば,それを網羅する評価語対を用いてSD法による実験を行い,因子分析の結果である因子得点空間として図6に相当する可視化結果を得ることが期待できる.本節では,実際に実験2で得た因子得点を図示して,図6との関係を考察する.
F1~F6の因子得点に基づいたフェイスマークの布置を図9に示す.まず図9(a)に示したF1については,目許が笑っている/笑っていないフェイスマークが負/正の側に布置されている.F2に関しては,目が(` ´)/(´ `)のフェイスマークが負/正の側に布置されている.因子空間がVarimax回転されたものであることを考えれば,このF1–F2空間における布置は,図6(a)の感情価・覚醒度を軸とする布置に対応するものと考える.
続いて,図9(b)のF3は正の側ほど焦り・驚き・動揺が強い因子であり,またF4は負の側ほど照れ・恥じらいが強い因子である.前節では,この2因子が縮退して図6(b)の3軸として出現したものと考察した.図9(b)の布置を縮約するために第1主成分軸への投射を考えたとき,その直線への投射が右下にあるほど,より焦り・照れが強いことを表し,これが図6(b)の3軸ではより負の側に対応すると期待できる.実際にその投射を見ると,図9(b)において右下側にあるのは(^^;),(^o^;),(^_^;)などであり,それらは図6(b)では3軸の負の側にある.同様に,図9(b)において左上側にあるのは(^o^),(^^),(`o´)などであり,それらは図6(b)では正の側にある.これらの傾向の一致がみられる一方で,図9(b)において左上側にある(--#)は,図6(b)では3軸の負の側にあるといった不一致もみられる.それゆえ,図6(b)では「焦っている」「恥ずかしがっている」「驚いている」の重相関係数が有意にならなかったと考える.
最後に,図9(c)のF5は正の側ほど複雑・人工的という印象が強い因子であり,またF6は負の側ほどやせたの印象が強い因子である.前節では,この2因子が縮退して図6(b)の4軸として出現したものと考察した.やはり図9(c)において,縮約のために第1主成分軸への投射を考えると,その投射が右下にあるほど,より複雑・やせたの印象が強いことを表し,図6(b)の4軸ではより正の側に対応する.その投射を見ると,図9(c)において右下側にあるのは(--#),(--メ),(^^ゞなどであり,それらは図6(b)では4軸の正の側にある.また,その投射において左上側に(´_`),(´-`),(`-´)などがあり,それらは図6(b)では4軸の負の側にある.これらの傾向の一致がみられる一方で,図9(c)において最も左上側にある(´o`)は,図6(b)では4軸の負の側ではあるものの原点近くにあるといった不一致もみられる.それゆえ,図6(b)では「太った」が有意な重相関係数を示さなかったと考える.
以上のとおり,図6に関する考察に基づいて選定した評価語対を用いて行ったSD法による実験結果を因子分析した得た因子得点は,図6を説明できるものであると考える.それゆえ,今後,フェイスマークの感性評価をする場合には,手間のかかる類似度判断(実験1)を実施することなく,表2を参考にして厳選した評価語対を用いたSD法による評価(実験2)を実施すれば十分であると考える.
なお,本稿では,多次元尺度法による実験1で得た4次元の布置に基づいて評価語対を選定し,それらを用いたSD法実験の結果から6因子を抽出するというプラクティスを示すため,その流れを記述した.実際には,改めて実験1の結果から6次元解を導出して,図9と比較することも有益であると考えている.
本研究では,フェイスマークが伝える感性情報を多次元尺度構成法により視覚化した.その結果から,従来から知られていた感情価・覚醒度という基本感情に加えて,恥じらい・動揺といった感情要素,さらにフェイスマークの形象に基づく印象を新たに抽出した.また,個人ごとのフェイスマークのとらえ方を,共通モノ空間の各軸に対する重みの違いとして可視化した.今後,メールやチャットメッセージなどの送り手として自分の感情を伝える場合には,図6や図9を参考にして適切なフェイスマークを選択することが期待される.さらには,フェイスマークに限らず一般の感性情報に関して因子の抽出を望む際には,外的基準を用いない類似度判断の結果を吟味して評価語対を選定するという,多次元尺度構成法とSD法を結びつけるプラクティスの有益性を示すことができたものと考える.
本研究では,実験の設計にあたって「少人数で,1名あたりの実験規模を大きくする」ことを基本方針とした.この方針は,ユーザビリティ評価では,5人程度の被験者で詳細な実験をすれば十分であるという知見[19]に基づいている.ただし,さらに普遍的な結果を得るために,より多くの被験者を用いた実験を行うことが今後の課題である.また,被験者の男女比については男性に偏っていたことから,今後,女性の被験者を増やすことで感性評価における性差を検討する実験が望まれる.
ところで,本研究ではフェイスマーク単体についての感性情報を取り上げたが,実際の使用場面ではそれが付加される文章による文脈効果があるものと考える.さらには,同じフェスマークでもフォントにより違った印象を受けることがありうる.今後,これらの点まで検討すれば,文章の末尾に付け加えるべき適切なフェイスマークを推薦する文書作成支援技術[20]の発展に寄与できるものと期待する.さらには,ソーシャルメディアに投稿された文章の肯定・否定の自動判別システム[21]の高度化にも寄与するものと考える.
1986年東北大学工学部通信工学科卒業.1988年同大学大学院修士課程修了.同年東北大学助手.1998年山梨大学助教授.2007年同大学教授.メディア感性工学,音響信号処理に関する研究に従事.博士(工学).電子情報通信学会,日・米音響学会,感性工学会各会員.
清水 忍2000年山梨大学工学部電気電子情報工学科卒業.在学中の主専攻は人間情報工学.
会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。