情報処理学会 第81回全国大会講演要旨

ダブル配列言語モデル(DALM)はトライの効率的な実装法であるダブル配列を用いた確率的言語モデルでありコンパクトで検索スピードが速い。しかしDALMは構築の計算量がトライのノード数に対して2乗のオーダーであり構築が遅い。
トライの分割等による計算量の削減は構築時間を大幅に短縮するがモデルサイズが大きくなる。本研究で提案する双方向配置は計算量の削減とサイズの圧縮を両立する手法であるが検索スピードの低下が懸念される。本論文では構築実験により提案手法がモデルサイズの肥大化を防ぎつつ構築時間を短縮することを示した。また翻訳時間とppl計算時間の測定により検索スピードを評価し、手法の有効性を検証する。