中文分詞中的關(guān)鍵技術(shù)與算法簡(jiǎn)介.pdf

1、中文分詞技術(shù)是中文信息處理的基礎(chǔ)環(huán)節(jié)，中文分詞的主要任務(wù)就是通過(guò)計(jì)算機(jī)自動(dòng)完成對(duì)中文句子的切分，識(shí)別出獨(dú)立的詞，并在詞與詞之間用空格分割開(kāi)。計(jì)算機(jī)無(wú)法直接從大量的信息中根據(jù)關(guān)鍵詞找到對(duì)應(yīng)的文本及信息，從而無(wú)法完成對(duì)漢語(yǔ)信息的收集，分類(lèi)等工作，只有實(shí)現(xiàn)了中文分詞技術(shù)，計(jì)算機(jī)才可能具有這些能力。 在信息化社會(huì)逐漸來(lái)臨的時(shí)代，中文網(wǎng)頁(yè)、電子出版物、數(shù)字信息越來(lái)越多的出現(xiàn)在各個(gè)領(lǐng)域，對(duì)中文分詞的實(shí)際需求和應(yīng)用也越來(lái)越多。中文分詞應(yīng)用在很

2、多領(lǐng)域：中文信息自動(dòng)檢索、過(guò)濾、分類(lèi)及摘要，文本校對(duì)，機(jī)器翻譯，以及在這些基礎(chǔ)之上的語(yǔ)音識(shí)別，語(yǔ)義識(shí)別等。 由于中文的特殊性，在中文自動(dòng)分詞的研究過(guò)程中的主要難題是歧義切分和生詞識(shí)別。眾所周知，中文的詞的劃分無(wú)法像西方語(yǔ)系那樣憑借空格來(lái)實(shí)現(xiàn)，而且同一個(gè)字在不同上下文中，沒(méi)有非常規(guī)范的語(yǔ)言結(jié)構(gòu)來(lái)劃分出詞的組合，因此，如何正確有效的識(shí)別出一個(gè)有實(shí)際意義的真正的詞是中文分詞研究的基礎(chǔ)問(wèn)題。 對(duì)中文分詞的研究已經(jīng)進(jìn)行了十幾年，中

3、文分詞技術(shù)大體可以總結(jié)為三大類(lèi)：基于詞庫(kù)的，基于語(yǔ)義的，基于統(tǒng)計(jì)的。其中基于語(yǔ)義的中文分詞受限于漢語(yǔ)語(yǔ)言知識(shí)的局限，還未取得明顯進(jìn)展，而針對(duì)另外兩種分詞算法的研究已經(jīng)取得了一定的成果。由于每種算法都有其自身的優(yōu)缺點(diǎn)，因此在很多研究和應(yīng)用中，都是結(jié)合了“基于詞庫(kù)”和“基于統(tǒng)計(jì)”分詞算法的優(yōu)勢(shì)，進(jìn)行進(jìn)一步的研究。 本文闡述了中文分詞在現(xiàn)代信息學(xué)中的意義，中文分詞的研究現(xiàn)狀。詳細(xì)描述了國(guó)際上流行的隱馬爾科夫數(shù)學(xué)模型、EM算法在中文分詞

4、中的應(yīng)用。以數(shù)學(xué)統(tǒng)計(jì)模型為基礎(chǔ)，對(duì)中文分詞的方法及可行性進(jìn)行了研究。介紹了當(dāng)前中文分詞取得的成就和常用方法，對(duì)不同的算法進(jìn)行了比較。 進(jìn)行的主要工作包括：1．在對(duì)基于詞典的分詞方法、基于語(yǔ)義的分詞方法及基于統(tǒng)計(jì)的分詞方法的研究改進(jìn)的基礎(chǔ)之上，完成了一個(gè)基于動(dòng)態(tài)詞典的中文分詞的方法；2．合理有效的將數(shù)學(xué)統(tǒng)計(jì)方法、置信度算法、倒排文件索引等方法、算法運(yùn)用于該分詞方法之中；3．著重于優(yōu)化在基于統(tǒng)計(jì)的中文分詞中遇到的性能低下的問(wèn)題。該方