2U-03
時系列予測に対する大規模言語モデルの全ブロック出力の統合
○大道拓真,飯間 等(京都工繊大)
近年、Transformerや大規模言語モデル(LLM)を時系列予測に用いる研究が注目を集めている。LLMを用いる従来の研究では、予測精度を向上させるため特定のブロック出力のみを利用しているが、適切なブロックを選択するにはチューニングが必要であり、汎用性に欠けるという課題があった。本研究では、全てのブロックの出力を統合したものをモデルの出力とする手法を提案する。これにより、上で述べたチューニングが不要となり、汎用的に用いることができるようになる。