基于word2vec的維吾爾文文本過濾研究.pdf

1、隨著大規(guī)模存儲技術(shù)、互聯(lián)網(wǎng)及數(shù)字通信業(yè)務(wù)的迅速發(fā)展，電子出版、數(shù)字圖書館、互聯(lián)網(wǎng)網(wǎng)站以及移動通信正在引發(fā)著不斷膨脹的文本海嘯。這種快速、無序的信息增長對于信息的使用者來說卻意味著混亂，是一種文本災(zāi)難。此外，污染互聯(lián)網(wǎng)環(huán)境的無用、有害、非法信息到處散發(fā)，垃圾郵件和手機短信的侵擾，嚴重干擾了人們的學(xué)習(xí)、工作和生活，甚至對社會秩序、人們的切身利益構(gòu)成嚴重威脅。因此，撥開海量信息的重重迷霧，以一種高效的方式汲取真正需要的養(yǎng)分，從而有效抵制無用、

2、有害、垃圾信息的需求顯得尤為重要和迫切。在這種背景下，文本過濾成為一個亟待解決的科學(xué)問題，引起了自然語言處理領(lǐng)域相關(guān)專家學(xué)者們的極大重視和關(guān)注，并已成為當(dāng)今信息技術(shù)領(lǐng)域研究熱點。
　　本文將多模式匹配算法、詞向量以及維、漢詞典結(jié)合在一起，研究了一種基于模式匹配的維吾爾文文本過濾方法。為了提高過濾召回率，利用 word2vec對選定的維吾爾文模式進行擴充，但是在擴充過程中，由于 word2vec目前不能直接處理維吾爾文數(shù)據(jù)，所以利用

3、維、漢詞典處理維吾爾文與中文之間的模式雙向轉(zhuǎn)換。此外，為了提高過濾準確率，結(jié)合維吾爾文的詞法特性對于 wu-manber算法的匹配策略做了改進，不僅匹配詞干還對詞綴進行匹配，從而彌補了目前詞干切分工具的不足和缺陷，提出了一種更適合于維吾爾文的多模式匹配算法—WSMM-ug算法。
　　最后，我們將以上技術(shù)和方法集成到一起，實現(xiàn)了一種維吾爾文過濾系統(tǒng)，并對不同類別的維吾爾文文本數(shù)據(jù)進行過濾。實驗結(jié)果表明，該系統(tǒng)的準確率和召回率相較于未