網(wǎng)頁(yè)去噪與特征提取算法的研究及實(shí)現(xiàn).pdf

1、網(wǎng)頁(yè)分類(lèi)可在較大程度上解決信息雜亂無(wú)章問(wèn)題。由于網(wǎng)頁(yè)中含有較多噪音信息以及網(wǎng)頁(yè)的特征提取結(jié)果影響到網(wǎng)頁(yè)分類(lèi)性能，因此，如何降低網(wǎng)頁(yè)噪音，并改進(jìn)網(wǎng)頁(yè)內(nèi)容的特征提取過(guò)程，對(duì)網(wǎng)頁(yè)分類(lèi)具有重要意義，已成為網(wǎng)頁(yè)分類(lèi)中的研究熱點(diǎn)。
　　 首先，STU(Semantic Textual Unit)-DOM實(shí)現(xiàn)的網(wǎng)頁(yè)提取未能判斷不含超級(jí)鏈接的網(wǎng)頁(yè)噪音，以及未能處理正文在DIV標(biāo)簽中的情況，從而造成網(wǎng)頁(yè)去噪效果不理想。本文在STU-DOM實(shí)現(xiàn)網(wǎng)頁(yè)

2、內(nèi)容提取的基礎(chǔ)上進(jìn)行了擴(kuò)展，考慮了網(wǎng)頁(yè)正文信息放在TABLE、DIV標(biāo)簽中的情況，同時(shí)通過(guò)計(jì)算標(biāo)題與結(jié)點(diǎn)詞共現(xiàn)頻率以及文本間的相似度實(shí)現(xiàn)網(wǎng)頁(yè)正文內(nèi)容的提取。在計(jì)算標(biāo)題與結(jié)點(diǎn)詞共現(xiàn)頻率時(shí)，對(duì)于大于給定閾值的結(jié)點(diǎn)直接保留，反之，則需要計(jì)算當(dāng)前的TABLE或DIV標(biāo)簽中已提取的內(nèi)容與即將提取結(jié)點(diǎn)的相似度，相似度值大于給定閾值，則提取當(dāng)前結(jié)點(diǎn)作為網(wǎng)頁(yè)正文，否則進(jìn)行探測(cè)。根據(jù)探測(cè)的結(jié)果決定是否繼續(xù)提取當(dāng)前TABLE或DIV標(biāo)簽中的網(wǎng)頁(yè)內(nèi)容。

3、>　　 其次，針對(duì)現(xiàn)有的特征提取算法中的頻率差法在特征提取時(shí)把不具備類(lèi)別鑒別能力的特征項(xiàng)賦較高RFD(Relative Frequency Difference)值的不足，對(duì)頻率差考慮分段情況，另一改進(jìn)是考慮特征項(xiàng)的代表性和鑒別性之和的絕對(duì)值情況，對(duì)改進(jìn)的算法通過(guò)分類(lèi)器進(jìn)行了驗(yàn)證，取得了較好的分類(lèi)性能。
　　 最后，本文在開(kāi)源的bot.jar包的基礎(chǔ)上擴(kuò)展了爬蟲(chóng)系統(tǒng)的功能，通過(guò)計(jì)算待爬行URL與主題的相關(guān)度，把滿足相關(guān)度閾值的