5ZK-08
マルチモーダル大規模言語モデルを用いた聴覚障碍者のための環境音楽分析システムの提案
○福井 隼,金 智恩,別所正博(東洋大)
聴覚障碍者向けの支援技術では、危険を回避するための生活安全性向上を主眼とした取り組みが多い一方で、娯楽や環境の雰囲気を把握するための取り組みは未だ少ない。そこで本研究では、マルチモーダル大規模言語モデルを用いて、環境に流れる音楽(BGM)を分析し、聴覚障碍者に提示するシステムを提案する。提案システムは、スマートフォンアプリを通じて、環境に流れるBGMをバックグラウンドで分析する。また音楽が検出された際には、ムード、ジャンル、楽器構成などの詳細なコンテキスト情報を利用者に提示する。本研究では、提案システムを試作し、生成AI技術を用いた聴覚障碍者のエンターテイメント体験支援の可能性を検討した。