基于云服務(wù)模式的文本過濾關(guān)鍵技術(shù)研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展,使其成為人們交流信息的主要方式之一。但由于它的這種開放性,導(dǎo)致網(wǎng)絡(luò)上存在很多如色情、暴力、迷信、反動等垃圾信息,嚴(yán)重影響了人們的日常上網(wǎng)活動。雖然目前已有很多文本過濾技術(shù),但是隨著外界環(huán)境的變化,文本過濾技術(shù)也需要不斷地改進和提高。同時,隨著人們生活水平的不斷提高,越來越多的用戶通過移動終端來訪問互聯(lián)網(wǎng)。如何保證移動用戶能夠通過移動設(shè)備獲得健康的、有效的正常信息,這就需要在面向移動終端的云平臺上實現(xiàn)文本過濾技術(shù),從而實

2、現(xiàn)對垃圾網(wǎng)頁進行過濾處理。
　　在這種需求下,本文在對現(xiàn)有的文本過濾關(guān)鍵技術(shù)進行了分析和討論的基礎(chǔ)上,改進了傳統(tǒng)的基于向量空間模型的文本分類算法以及樸素貝葉斯分類算法,并采用這兩種改進的文本分類算法構(gòu)建了一個高性能的文本過濾系統(tǒng);然后將該系統(tǒng)部署于面向移動終端的云平臺,實現(xiàn)了云平臺上的文本過濾服務(wù)。保證了移動終端用戶能夠通過移動設(shè)備訪問互聯(lián)網(wǎng)上正常的、合法的網(wǎng)頁。本文的主要內(nèi)容為:
　　1、在對文本過濾技術(shù)中常用的特征選擇算

3、法進行分析研究的基礎(chǔ)上,將等比例的思想運用于特征選擇,使得提取的文本特征向量能夠更準(zhǔn)確地體現(xiàn)文本主題、類別信息等。
　　2、在對文本過濾技術(shù)中已有的權(quán)重計算方法進行分析和討論的基礎(chǔ)上,考慮了特征項的結(jié)構(gòu)信息、長度信息、比重信息等,對傳統(tǒng)的權(quán)重計算方法進行了改進,使其能夠更好地反映特征項對網(wǎng)頁分類的重要程度。
　　3、網(wǎng)頁是一種結(jié)構(gòu)化或半結(jié)構(gòu)化的文檔,因此本文采用模塊化的方式對網(wǎng)頁進行分類處理;同時將基于比重的改進權(quán)值計算方法