網(wǎng)絡(luò)新詞發(fā)現(xiàn)算法研究.pdf

1、隨著信息時(shí)代的到來(lái)，互聯(lián)網(wǎng)正深刻地影響著人們的學(xué)習(xí)、工作、生活?yuàn)蕵?lè)等各個(gè)方面，也改變了人們?nèi)粘５臏贤ū磉_(dá)方式，網(wǎng)絡(luò)新詞的不斷涌現(xiàn)就是一個(gè)很好的證明。在印歐體系語(yǔ)言中詞語(yǔ)之間會(huì)存在空格這種天然的分隔符號(hào)，與之不同的是中文詞語(yǔ)之間沒(méi)有這種的空格。而中文的最小獨(dú)立語(yǔ)言單位是詞，所以要想讓計(jì)算機(jī)有效地識(shí)別中文最初需要對(duì)其進(jìn)行分詞。但是新詞的涌現(xiàn)會(huì)讓中文分詞后的結(jié)果產(chǎn)生很多不好辨別的“字符串碎片”，而這些“字符串碎片”會(huì)對(duì)分詞結(jié)果的準(zhǔn)確率造成了很

2、大的影響。有學(xué)者做過(guò)研究統(tǒng)計(jì)，導(dǎo)致中文分詞錯(cuò)誤的大部分原因是由新詞引起的。假如我們能夠迅速地識(shí)別網(wǎng)絡(luò)新詞并將識(shí)別到的新詞及時(shí)加入到中文詞典進(jìn)行更新，這對(duì)于提高中文分詞系統(tǒng)的準(zhǔn)確率和效率將有非常大的幫助。因此對(duì)新詞識(shí)別的研究現(xiàn)已成為了中文自然語(yǔ)言處理中一個(gè)非常重要的問(wèn)題。
　　近年來(lái)，很多學(xué)者和研究機(jī)構(gòu)在新詞識(shí)別這一領(lǐng)域做了許多研究工作，也取得了一些成果，但是新詞識(shí)別的準(zhǔn)確率還不夠高。為了解決這個(gè)問(wèn)題，本文基于微博消息的特點(diǎn)提出了一

3、種新詞識(shí)別方法。
　　首先為了確保語(yǔ)料的時(shí)效性，本文利用網(wǎng)絡(luò)爬蟲(chóng)抓取新浪微博消息構(gòu)建了一個(gè)語(yǔ)料庫(kù)。其次利用原子切分和N-gram算法對(duì)微博消息進(jìn)行切分統(tǒng)計(jì)獲得候選字符串，并對(duì)其進(jìn)行過(guò)濾得到候選新詞。接著本文根據(jù)微博消息的特點(diǎn)（大信息量和用詞趨簡(jiǎn)性的特點(diǎn)）提出了一種新詞識(shí)別方法。然后本文將新詞識(shí)別和分詞結(jié)合起來(lái)，并利用分詞后的結(jié)果來(lái)檢測(cè)識(shí)別候選新詞。最后本文利用平均互信息對(duì)上面提出的方法做了進(jìn)一步的改進(jìn)，提升了新詞識(shí)別的效率。對(duì)比其