情報処理学会 第88回全国大会

1X-06
線形表現仮説に基づく大規模言語モデルの感情概念空間のファインチューニング耐性
○立谷拓海,伏見卓恭(東京工科大)
大規模言語モデルは事前学習により膨大な語彙間の統計的関連性を獲得しており、因果的に独立した概念同士のベクトルは高次元空間で互いに直交するという線形表現仮説が提唱されている。本研究では、この仮説がモデルの下流タスク適応後にも保持されるのかに着目し、感情分類タスクでファインチューニングを施した際にも線形表現仮説が成立するかを検証する。