CH-004
BLEビーコンを利用したマルチモーダル畳み込みニューラルネットワーク

◎橋本和幸・堀川三好・岡本　東（岩手県大）

動画や会話などに着目した複数のモーダル情報を組み合わせたマルチモーダル学習の研究が進み，字幕生成や翻訳など様々な場面で応用がなされている．スマートフォンを中心とした社会へこの技術の適用を考えると，駅や商業施設に設置されるBLEビーコンの電波受信強度と写真から，より詳細な商品の説明をWebなどから得られるなど新たな購買モデルの提案ができる．しかし，画像認識には膨大なデータが求められ，労力を要する．本研究ではインスタンス認識を行うマルチモーダルな画像認識モデルを提案し，データオーギュメンテーションによりデータ収集コストの削減を目指す．本稿ではこのデータセットの作成方法と分類精度についてまとめる．