抄録

◎小笹哲哉・渋木英潔・森　辰則（横浜国大）

文脈に応じて必要な長さを用いるような可変長単語N-gramモデルを構築する際に必要な、可変長単語N-gram頻度は、Suffix Arrayを構築することで求めることができる。しかし、大規模な文章においては、Suffix Arrayの構築することは、主記憶容量や計算時間の面で難しい。そこで、本稿では、大規模な文章を効率的に扱うために、Hadoopを用いてMapReduceの枠組みでSuffix Arrayを並列分散して構築を行う。これを利用することによって、大規模日本語文章において、可変長単語N-gramの頻度を計算することを行う。