基于概念集合的網(wǎng)頁(yè)內(nèi)容過(guò)濾方法的研究.pdf

1、由于Internet的普及和發(fā)展，人類社會(huì)進(jìn)入了信息社會(huì)?；ヂ?lián)網(wǎng)在人們的日常信息交流中占據(jù)著越來(lái)越重要的地位。網(wǎng)頁(yè)的內(nèi)容逐漸豐富，涉及的領(lǐng)域越來(lái)越廣泛，同時(shí)網(wǎng)頁(yè)的內(nèi)容形式也更加多樣化，比如文字、圖像、視頻、音頻等。而最為普遍的形式當(dāng)屬文字內(nèi)容，是網(wǎng)頁(yè)內(nèi)容的主要載體，因此隨著計(jì)算機(jī)和互聯(lián)網(wǎng)的推廣和應(yīng)用，由數(shù)據(jù)處理、信息處理到知識(shí)處理，對(duì)語(yǔ)言文字處理要求的深度和廣度越來(lái)越高。正因?yàn)槲淖中畔⑷绱酥匾?，所以網(wǎng)頁(yè)文字信息中很有可能會(huì)加入一些敏感信

2、息，給人們的生活、甚至社會(huì)帶來(lái)危害。本文主要針對(duì)網(wǎng)頁(yè)文字信息中的不良信息進(jìn)行分析，深入研究過(guò)濾方法，達(dá)到對(duì)網(wǎng)絡(luò)信息的安全過(guò)濾。
　　 以往的網(wǎng)頁(yè)過(guò)濾算法大多是以基于統(tǒng)計(jì)過(guò)濾或關(guān)鍵詞過(guò)濾，這些過(guò)濾算法實(shí)現(xiàn)比較簡(jiǎn)單而且快速，但是也存在著不足，那就是：只是在字面意義上機(jī)械的理解網(wǎng)頁(yè)內(nèi)容，往往不能深入的了解，忽略了文本中的語(yǔ)義約束，無(wú)法有效識(shí)別帶有語(yǔ)義傾向性的信息，最終導(dǎo)致過(guò)濾的效果并不理想。所以結(jié)果表明，如果要提高過(guò)濾算法的準(zhǔn)確度，應(yīng)

3、該加入語(yǔ)義傾向性的判斷，試圖真正了解作者要表達(dá)的內(nèi)容。
　　 本文利用知網(wǎng)(HowNet)和分類算法提出了一種基于概念集合的網(wǎng)頁(yè)過(guò)濾方法。針對(duì)互聯(lián)網(wǎng)資源的豐富性和開放性的特點(diǎn)，首先對(duì)網(wǎng)絡(luò)中收集的文本進(jìn)行預(yù)處理工作，即分詞以及詞性的標(biāo)注，為過(guò)濾做準(zhǔn)備。然后按照本文提出的概念集合算法的步驟進(jìn)行各個(gè)集合的相似度匹配。由于最能表達(dá)作者觀點(diǎn)或意圖的信息往往來(lái)自于動(dòng)詞或者形容詞，同時(shí)否定詞和副詞也尤其重要，所以根據(jù)本文構(gòu)造的情感詞典對(duì)這些詞