情報処理学会 第80回全国大会講演要旨

本研究では単語頻度と文書頻度により単語に重みを与えるTF-IDFを単語の出現確率P(x)を用いて推定し、この確率的TF-IDFを用いて特徴語抽出とTwitterなどの短文検索に利用できるかを検証する。この検証により、Twitterなどの文書数の変動が激しいデータに対して、(文書数を数えることなく)単語に重みを与え検索することが可能になる。