基于大規(guī)模語(yǔ)料的中文新詞抽取算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、中文新詞抽取是中文信息處理的基礎(chǔ)研究，抽取的新詞能直接應(yīng)用到分詞、詞典編纂等領(lǐng)域中。由于新詞散布于海量的信息中，為盡可能多地抽取到新詞，本文研究針對(duì)大規(guī)模語(yǔ)料進(jìn)行。
　　 首先在綜合已有定義的基礎(chǔ)上，將新詞界定為不含命名實(shí)體的未登錄詞。本文將整個(gè)抽取過(guò)程分成候選新詞集合構(gòu)造和新詞檢測(cè)兩部分。
　　 在構(gòu)造候選新詞集合時(shí)，為處理規(guī)模遠(yuǎn)超出內(nèi)存的語(yǔ)料，設(shè)計(jì)了重復(fù)串抽取算法(Repeats Extraction Based S

2、plit，REBS)。先將語(yǔ)料按后綴首字符劃分為多個(gè)集合，通過(guò)逐條掃描集合數(shù)據(jù)，搜索出最大化最長(zhǎng)公共前綴區(qū)間(Maximized Longest Common PrefixInterval，MLCPI)來(lái)完成抽取，另外在此基礎(chǔ)上實(shí)現(xiàn)重復(fù)串抽取的同時(shí)歸并子串。由于進(jìn)行抽取時(shí)無(wú)需將全部數(shù)據(jù)導(dǎo)入內(nèi)存，所以資源消耗較少；各集合間抽取工作互不干擾，可采用并行處理加快運(yùn)行速度。使用4.61G純文本語(yǔ)料進(jìn)行試驗(yàn)，結(jié)果表明內(nèi)存消耗小于30M，抽取速度最

3、快達(dá)每秒1.08M，并能高效地進(jìn)行子串歸并。為提高重復(fù)串抽取速度，本文對(duì)字串排序效率進(jìn)行了改進(jìn)，設(shè)計(jì)了一種線(xiàn)性時(shí)間排序算法，通過(guò)比較實(shí)驗(yàn)證明了該算法的高效性。
　　 新詞檢測(cè)階段，在最大熵模型中，融合多項(xiàng)語(yǔ)言知識(shí)特征和統(tǒng)計(jì)特征，實(shí)現(xiàn)對(duì)非詞垃圾串的過(guò)濾，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法的有效性。為提高大規(guī)模語(yǔ)料下的新詞檢測(cè)速度，對(duì)左右熵特征的抽取效率進(jìn)行改進(jìn)，該改進(jìn)算法充分利用重復(fù)串抽取的中間處理結(jié)果，能高效地對(duì)候選新詞進(jìn)行左右熵特征計(jì)算。