ロボット分野において、視覚と言語を統合した基盤モデルによるマニピュレーションコントローラが発展し、抽象的な指示によるロボット操作が可能になってきた。しかし、視覚が限定される状況や巧みな力調整が必要なタスクへの適用は難しい。この課題の克服には触覚情報の活用が不可欠である。
そこで、本研究では触覚情報を活用したロボットマニピュレーションを実現するために、大規模言語モデルが既に持っている触覚に関する概念を活用する手法を提案する。大規模言語モデルに触覚情報と運動情報からタスク状況を推論させた上で、適切な行動を選択させる。実験はIsaac Sim上のシミュレーション環境で行い、本手法の有効性を検証した。