（邦訳：視覚的概念がもつ心像性の定量化）
 |
Marc A. Kastner （正会員） 国立情報学研究所コンテンツ科学系 特任研究員 |
キーワード
| セマンティックギャップ | 計算心理言語学 | 統合メディア |
［背景］言語と画像の間に知覚されるセマンティックギャップがマルチメディア処理の障害
［問題］単語概念のセマンティックギャップの定量化
［貢献］Web上の画像の視覚的多様性の分析による定量化手法の提案
WebサービスやSNSの普及とともに，自然言語と画像を関連づけて処理する手法が必要になりつつある．しかし，自然言語と画像の間には，いわゆるセマンティックギャップと呼ばれる問題が立ち塞がり，計算機による機械翻訳や説明文の自動生成などさまざまなマルチモーダルな応用で障害になっている．画像内容を表現する際に自然な語句を自動的に選ぶためには，自然言語と画像を結び付ける技術が必要になる．たとえば，「乗り物」というような抽象的な概念の中にはさまざまな種類のモノが存在する．たとえば，「スポーツカー」も「飛行機」も「船」も乗り物であるため，単語概念と具体的な画像特徴を結びつけることは困難である．一方，特定の型式の自動車など極めて具体的な概念は容易に結びつけることができる．本研究では，このようなセマンティックギャップを定量化する指標に関する研究を行った．具体的には，2つの課題として，相対的および絶対的な定量化手法を提案した．
1．Web画像の分布に基づく単語概念の視覚的な多様性の推定
1つ目の課題として，単語概念間の相対的な細かい差異を推定する研究を行った．ある概念グループの中で，たとえば乗り物に関する単語の中で，「スポーツカー」，「飛行機」，「船」などの順位を相対的に比較すれば，どの概念が最も具体的かどの概念が最も抽象的かを定量化するという問題設定である．提案手法では，まず，Web画像を収集し，Web上の分布に基づく画像データセットを作成した．その後，同じような画像特徴をもつ画像をクラスタリングし，得られたクラスタの数に基づいて視覚的多様性を定量化した．Twitter，FacebookなどさまざまなSNS上でクラウドソーシングにより被験者実験を行った結果を真値とした評価実験を行い，視覚的多様性を適切に推定できることを明らかにした．
2．Web画像を用いたデータマイニングによる単語の心像性推定
2つ目の課題として，任意の単語について単語概念の絶対的なイメージしやすさを推定する研究を行った．「心像性」は心理言語学分野において定義された概念で，単語の イメージしやすさを表す指標である．一般に被験者実験を通じて定量化されるが，未知語や新語に対応するために，自動的に推定する手法が必要となる．提案手法は，SNSから収集したWeb画像の視覚的多様性について分析を行い，AIモデルを学習した．心理言語学分野で使われている心像性辞書中の真値に基づいて評価実験を行い，心像性を正確に推定できることを示した．
以上のように本研究ではセマンティックギャップを定量化する2つの手法を提案した．まず，1つ目の提案では，相対的な立場からの定量化を目指した．「スポーツカー」も「飛行機」も「船」のように，同じ概念グループ内の単語間の細かい差異を定量化した．次に2つ目の提案では，絶対的な立場から見た任意の単語の心像性を定量化した．それぞれの出力は，たとえば1（最も抽象的）から10（最も具体的）のような範囲で，具体度を表す数値となる．最後にそれぞれの手法について実験によってその有効性を確認した．
［貢献］Web上の画像の視覚的多様性の分析による定量化手法の提案
WebサービスやSNSの普及とともに，自然言語と画像を関連づけて処理する手法が必要になりつつある．しかし，自然言語と画像の間には，いわゆるセマンティックギャップと呼ばれる問題が立ち塞がり，計算機による機械翻訳や説明文の自動生成などさまざまなマルチモーダルな応用で障害になっている．画像内容を表現する際に自然な語句を自動的に選ぶためには，自然言語と画像を結び付ける技術が必要になる．たとえば，「乗り物」というような抽象的な概念の中にはさまざまな種類のモノが存在する．たとえば，「スポーツカー」も「飛行機」も「船」も乗り物であるため，単語概念と具体的な画像特徴を結びつけることは困難である．一方，特定の型式の自動車など極めて具体的な概念は容易に結びつけることができる．本研究では，このようなセマンティックギャップを定量化する指標に関する研究を行った．具体的には，2つの課題として，相対的および絶対的な定量化手法を提案した．
1．Web画像の分布に基づく単語概念の視覚的な多様性の推定
1つ目の課題として，単語概念間の相対的な細かい差異を推定する研究を行った．ある概念グループの中で，たとえば乗り物に関する単語の中で，「スポーツカー」，「飛行機」，「船」などの順位を相対的に比較すれば，どの概念が最も具体的かどの概念が最も抽象的かを定量化するという問題設定である．提案手法では，まず，Web画像を収集し，Web上の分布に基づく画像データセットを作成した．その後，同じような画像特徴をもつ画像をクラスタリングし，得られたクラスタの数に基づいて視覚的多様性を定量化した．Twitter，FacebookなどさまざまなSNS上でクラウドソーシングにより被験者実験を行った結果を真値とした評価実験を行い，視覚的多様性を適切に推定できることを明らかにした．
2．Web画像を用いたデータマイニングによる単語の心像性推定
2つ目の課題として，任意の単語について単語概念の絶対的なイメージしやすさを推定する研究を行った．「心像性」は心理言語学分野において定義された概念で，単語の イメージしやすさを表す指標である．一般に被験者実験を通じて定量化されるが，未知語や新語に対応するために，自動的に推定する手法が必要となる．提案手法は，SNSから収集したWeb画像の視覚的多様性について分析を行い，AIモデルを学習した．心理言語学分野で使われている心像性辞書中の真値に基づいて評価実験を行い，心像性を正確に推定できることを示した．
以上のように本研究ではセマンティックギャップを定量化する2つの手法を提案した．まず，1つ目の提案では，相対的な立場からの定量化を目指した．「スポーツカー」も「飛行機」も「船」のように，同じ概念グループ内の単語間の細かい差異を定量化した．次に2つ目の提案では，絶対的な立場から見た任意の単語の心像性を定量化した．それぞれの出力は，たとえば1（最も抽象的）から10（最も具体的）のような範囲で，具体度を表す数値となる．最後にそれぞれの手法について実験によってその有効性を確認した．
（2020年5月29日受付）