網(wǎng)頁(yè)去噪音與分類算法研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)上信息的數(shù)量也在急劇增長(zhǎng)?；ヂ?lián)網(wǎng)給人們提供了大量信息，但同時(shí)也給人們快速準(zhǔn)確的獲取信息帶來(lái)挑戰(zhàn)。為了能有效地利用網(wǎng)頁(yè)資源，我們需要對(duì)網(wǎng)頁(yè)進(jìn)行分類。 本文研究網(wǎng)頁(yè)分類的關(guān)鍵技術(shù)，并對(duì)網(wǎng)頁(yè)去噪音技術(shù)和分類算法進(jìn)行深入探討。 在網(wǎng)頁(yè)預(yù)處理時(shí)，最關(guān)鍵的問(wèn)題是去除掉網(wǎng)頁(yè)中的噪音數(shù)據(jù)，將與網(wǎng)頁(yè)內(nèi)容無(wú)關(guān)的廣告、導(dǎo)航條以及版權(quán)等信息盡量去除，以得到所需要的網(wǎng)頁(yè)主題信息。我們?cè)诜治霈F(xiàn)有方法和網(wǎng)頁(yè)制作特點(diǎn)的基礎(chǔ)上，

2、綜合考率網(wǎng)頁(yè)的結(jié)構(gòu)、分塊大小信息，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于塊分析的、自動(dòng)調(diào)整閾值的網(wǎng)頁(yè)去噪音算法。 特征聚合算法考慮到詞與詞之間的聯(lián)系，根據(jù)特征詞的分類貢獻(xiàn)將他們聚合為分布模式，并使用分布模式代替?zhèn)鹘y(tǒng)算法中單個(gè)詞對(duì)應(yīng)向量一維的方式，我們對(duì)特征聚合算法在本文分類系統(tǒng)的效果進(jìn)行了測(cè)試，測(cè)試結(jié)果顯示特征聚合算法對(duì)數(shù)據(jù)集偏斜問(wèn)題有著很好的效果，并對(duì)分類器整體性能有所改進(jìn)。 當(dāng)前文本分類領(lǐng)域已經(jīng)提出了很多分類算法，其中，KNN和SVM