基于向量空間模型的網(wǎng)頁信息過濾方法研究.pdf

1、互聯(lián)網(wǎng)的發(fā)展帶動了整個社會的發(fā)展與變革，電子商務的興起改變了人們的生活方式，給人們的生活帶來了極大便利。但隨著電子商務的快速發(fā)展，安全問題越來越突出。網(wǎng)絡釣魚等非法站點的存在及迷信、色情、暴力和反動信息的傳播嚴重威脅電子商務環(huán)境的內(nèi)容安全。因此，為了營造一個安全、健康及和諧的電子商務環(huán)境，對不良網(wǎng)絡信息的過濾就顯得非常重要。然而傳統(tǒng)的基于關(guān)鍵字和URL的過濾技術(shù)，已不能有效地解決這些問題。 本文介紹了內(nèi)容安全技術(shù)的現(xiàn)狀，將基于內(nèi)

2、容分析的信息過濾方法用于互聯(lián)網(wǎng)內(nèi)容安全的保護；研究了信息過濾中的中文分詞、文本表示和特征提取關(guān)鍵技術(shù)，在特征項權(quán)重計算方面，分析了HTML標記對權(quán)重計算的影響，在改進傳統(tǒng)TFIDF方法的基礎上，提出了一種基于HTML標記加權(quán)的權(quán)重計算方法。 為了提高網(wǎng)頁信息過濾系統(tǒng)的準確性，本文還進行了網(wǎng)頁正文內(nèi)容抽取方法的研究，在分析了中文網(wǎng)頁布局的特點和網(wǎng)頁中中文標點符號的分布特征后，提出了一種新的網(wǎng)頁正文抽取方法，該方法將中文標點符號數(shù)及

3、非超鏈接文字數(shù)與超鏈接所含文字數(shù)的比值作為識別網(wǎng)頁正文內(nèi)容的重要特征。實驗結(jié)果表明，該方法不僅通用性強，而且精確度高。 最后，本文提出了一種新的過濾方案并進行了設計和實現(xiàn)：采用二級過濾策略，將基于URL的過濾技術(shù)和內(nèi)容過濾技術(shù)有機結(jié)合，僅對URL過濾后標記為可疑的用戶請求進行內(nèi)容過濾，并根據(jù)內(nèi)容過濾的結(jié)果更新URL列表，從而實現(xiàn)了URL過濾的實時性和高效性及內(nèi)容過濾的全面性。該網(wǎng)頁信息過濾系統(tǒng)采用Winsock 2 SPI進行H