基于互聯(lián)網(wǎng)海量語(yǔ)料的新詞發(fā)現(xiàn)研究及中文分詞系統(tǒng)改進(jìn).pdf

1、中文自動(dòng)分詞是中文自然語(yǔ)言處理的基礎(chǔ)。隨著Web2.0的發(fā)展，網(wǎng)絡(luò)新詞的自動(dòng)識(shí)別已經(jīng)成為中文分詞的一個(gè)主要難點(diǎn)和瓶頸。對(duì)此提出了一種非監(jiān)督的新詞識(shí)別方法，該方法利用互信息(PMI，Point-wise Mutual Information)的改進(jìn)算法—PMIk算法與少量的基本規(guī)則相結(jié)合從大規(guī)模語(yǔ)料中自動(dòng)識(shí)別2-n元網(wǎng)絡(luò)新詞（n代表發(fā)現(xiàn)的新詞最大長(zhǎng)度，可以根據(jù)需要指定）。
　　新詞基于257MB的百度貼吧語(yǔ)料實(shí)驗(yàn)，當(dāng)PMIk方法的參

2、數(shù)等于5時(shí)，結(jié)果精度達(dá)到84.8％，相對(duì)PMI方法精度提高了16.2％，實(shí)驗(yàn)結(jié)果表明該新詞發(fā)現(xiàn)方法能夠有效的從大規(guī)模網(wǎng)絡(luò)語(yǔ)料中發(fā)現(xiàn)新詞。基于大規(guī)模語(yǔ)料庫(kù)對(duì)這些新詞進(jìn)行詞性推測(cè)，得到的結(jié)果編纂成用戶詞典，加載到漢語(yǔ)詞法分析系統(tǒng)ICTCLAS(Institute of Computing Technology，Chinese Lexical Analysis System)中，基于10KB的百度貼吧語(yǔ)料實(shí)驗(yàn)，相對(duì)加載用戶詞典前的分詞結(jié)果準(zhǔn)確