基于語義的信息過濾算法及其應(yīng)用.pdf

1、在互聯(lián)網(wǎng)提供的海量、龐雜的信息中，不良信息以不同的表現(xiàn)形式，從不同的角度對不同人群造成毒害或干擾。因此，對網(wǎng)絡(luò)訪問進行必要的、有效的內(nèi)容過濾是營造健康、安全網(wǎng)絡(luò)環(huán)境的重要環(huán)節(jié)。但是，傳統(tǒng)的文本信息過濾算法僅能實現(xiàn)結(jié)構(gòu)對應(yīng)層次上的判斷，無法體現(xiàn)文本的語義，過濾效果難以滿足智能化的要求。 本文結(jié)合計算語言學(xué)知識，提出并實現(xiàn)了基于語義的信息過濾算法。該算法包括對目標(biāo)語句分詞、詞性標(biāo)注、生成語義框架、計算兩語句對應(yīng)的語義框架間的相似度等

2、關(guān)鍵環(huán)節(jié)。借助事先構(gòu)建的詞庫，使用最大二分分詞法，將句子切分成用二叉樹表示的詞集合；借助語法規(guī)則庫和分詞結(jié)果中存儲的詞性和詞在句子中的位置信息，區(qū)分出關(guān)鍵字(主謂賓)，填充語義框架；按照給定的距離函數(shù)和詞語相似度計算規(guī)則，計算框架間的相似度；根據(jù)相似度是否大于閾值決定過濾與否。 此算法將兩語句語義相似程度的比較操作轉(zhuǎn)換成了數(shù)學(xué)計算，量化了語句間的語義相似度。試驗表明，其過濾效果較傳統(tǒng)算法在語義對應(yīng)層次上有較大提高。 代理

3、服務(wù)器在Intranet管理中具有重要作用。本文實現(xiàn)了HTTP代理服務(wù)器，借助它，在應(yīng)用層實現(xiàn)了對Web頁內(nèi)容的語義過濾。并且，通過將客戶機成功訪問過的網(wǎng)頁內(nèi)容存儲在代理服務(wù)器端，實現(xiàn)了Web頁訪問的內(nèi)容重現(xiàn)。 為了提高過濾效率，本文依照分級過濾的思想，在網(wǎng)絡(luò)層以下，采用NDIS和HOOK技術(shù)，實現(xiàn)對流經(jīng)代理服務(wù)器的數(shù)據(jù)包進行按端口、協(xié)議等過濾；在應(yīng)用層，基于HTTP代理技術(shù)，對包含Web頁內(nèi)容的應(yīng)答數(shù)據(jù)包先進行關(guān)鍵字過濾，然后