基于語義分析的網(wǎng)絡(luò)過濾設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷普及，越來越多的應(yīng)用服務(wù)出現(xiàn)在互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)已成為信息匯聚的集散地，瀏覽者可以從網(wǎng)絡(luò)上汲取豐富多彩的資訊。但是這些信息難免良莠不齊，如何從中這些海量數(shù)據(jù)中去蕪存菁，是當(dāng)前社會(huì)面臨一個(gè)重要問題。IF(過濾)是一個(gè)較好的解決方案。網(wǎng)絡(luò)信息過濾是綜合使用技術(shù)和非技術(shù)的手段包括軟件和硬件的協(xié)同工作對(duì)待瀏覽信息進(jìn)行動(dòng)態(tài)的屏蔽的過程。為了提高資訊獲取的效率，推行貼近用戶的個(gè)性化和專業(yè)化服務(wù)，減少不良信息對(duì)瀏覽者的視覺污染是信息過濾

2、技術(shù)的應(yīng)用重要職能。這對(duì)幫助用戶獲取信息，減輕瀏覽者的查詢時(shí)間和避免用戶受到無端干擾和侵害是十分有必要的。
　　 本篇首先對(duì)互聯(lián)網(wǎng)不良信息從法律、道德兩個(gè)方面進(jìn)行特征分析，然后對(duì)不良信息進(jìn)行分類，給出不良信息的多方標(biāo)記和分級(jí)方法，歸納總結(jié)不良信息的危害性和傳播途徑。在此基礎(chǔ)上，研究基于URL和內(nèi)容的互聯(lián)網(wǎng)不良信息綜合過濾技術(shù)。該過濾技術(shù)分梯次使用URL過濾算法和文本內(nèi)容過濾算法。其中URL過濾算法包括基于黑名單的過濾算法以及基于

3、白名單的過濾算法，文本內(nèi)容過濾算法又分為關(guān)鍵字匹配算法和潛在語義索引算法(LSI)。
　　 本文所提的綜合過濾算法采用多層次過濾策略。第一層使用URL進(jìn)行過濾，通過黑白名單來決定是否對(duì)HTTP請(qǐng)求進(jìn)行過濾；第二層是文本內(nèi)容過濾，其中又分為兩層，首先是進(jìn)行關(guān)鍵字匹配，然后使用潛在語義索引算法進(jìn)行過濾。該多層次過濾方案不僅具有良好的性能，實(shí)現(xiàn)了高吞吐量過濾，而且取得了較為準(zhǔn)確的過濾效果。
　　 最后基于上述不良信息過濾算法，