基于大規(guī)模語料的中文新詞抽取算法的設(shè)計與實(shí)現(xiàn).pdf

1、中文新詞抽取是中文信息處理的基礎(chǔ)研究，抽取的新詞能直接應(yīng)用到分詞、詞典編纂等領(lǐng)域中。由于新詞散布于海量的信息中，為盡可能多地抽取到新詞，本文研究針對大規(guī)模語料進(jìn)行。
　　 首先在綜合已有定義的基礎(chǔ)上，將新詞界定為不含命名實(shí)體的未登錄詞。本文將整個抽取過程分成候選新詞集合構(gòu)造和新詞檢測兩部分。
　　 在構(gòu)造候選新詞集合時，為處理規(guī)模遠(yuǎn)超出內(nèi)存的語料，設(shè)計了重復(fù)串抽取算法(Repeats Extraction Based S

2、plit，REBS)。先將語料按后綴首字符劃分為多個集合，通過逐條掃描集合數(shù)據(jù)，搜索出最大化最長公共前綴區(qū)間(Maximized Longest Common PrefixInterval，MLCPI)來完成抽取，另外在此基礎(chǔ)上實(shí)現(xiàn)重復(fù)串抽取的同時歸并子串。由于進(jìn)行抽取時無需將全部數(shù)據(jù)導(dǎo)入內(nèi)存，所以資源消耗較少；各集合間抽取工作互不干擾，可采用并行處理加快運(yùn)行速度。使用4.61G純文本語料進(jìn)行試驗(yàn)，結(jié)果表明內(nèi)存消耗小于30M，抽取速度最

3、快達(dá)每秒1.08M，并能高效地進(jìn)行子串歸并。為提高重復(fù)串抽取速度，本文對字串排序效率進(jìn)行了改進(jìn)，設(shè)計了一種線性時間排序算法，通過比較實(shí)驗(yàn)證明了該算法的高效性。
　　 新詞檢測階段，在最大熵模型中，融合多項語言知識特征和統(tǒng)計特征，實(shí)現(xiàn)對非詞垃圾串的過濾，并通過實(shí)驗(yàn)驗(yàn)證了該方法的有效性。為提高大規(guī)模語料下的新詞檢測速度，對左右熵特征的抽取效率進(jìn)行改進(jìn)，該改進(jìn)算法充分利用重復(fù)串抽取的中間處理結(jié)果，能高效地對候選新詞進(jìn)行左右熵特征計算。