雑談対話において，話者の発話の意図を示す対話行為は出現頻度に偏りが生じる．多くの対話行為推定モデルは出現頻度の高い対話行為に偏って推定する問題があるため，本稿では出現頻度の低い対話行為の特徴をよく捉えるためのネットワークであるSelf-Attention Networks One-Versus-All RNNを提案する．実験において，まず発話の分かち書き手法および分散表現の違いによる対話行為推定性能を比較した．またSANOVA RNNの対話行為推定性能を他手法と比較することで，SANOVA RNNは出現頻度の低い対話行為の特徴をよく捉えながら，対話全体でも高い推定性能を持つことを確認した．