CTPH摘要在Chord網(wǎng)絡(luò)中的發(fā)布和查詢.pdf

1、基于摘要的垃圾郵件識別方法是眾多垃圾郵件識別方法中十分重要的一種。這類技術(shù)通過對比郵件摘要相似性來判定垃圾郵件。然而，現(xiàn)有的識別技術(shù)大都采用集中式的摘要管理模式，該模式具有單點(diǎn)失效、可擴(kuò)展性差等缺陷。分布式的處理方法必然成為未來發(fā)展的趨勢。
　　 在基于摘要的分布式垃圾郵件處理系統(tǒng)中，如何高效、快捷的發(fā)布和查詢郵件摘要是研究的重點(diǎn)之一。本文在研究CTPH摘要生成算法和DHT信息發(fā)布技術(shù)的基礎(chǔ)上，利用iDistance方法將高維的

2、CTPH摘要映射成一維的標(biāo)識符，提出了一種在Chord網(wǎng)絡(luò)環(huán)境中發(fā)布和查詢CTPH摘要的方法：iCTPH。該算法具有如下三個特點(diǎn)：(1)iCTPH能將相似的CTPH摘要發(fā)布到相同或相近的節(jié)點(diǎn)上；(2)基于區(qū)段檢索的查詢算法保證僅查詢網(wǎng)絡(luò)中的少數(shù)節(jié)點(diǎn)即可召回絕大部分相似摘要；(3)iCTPH具有良好的可擴(kuò)展性和負(fù)載均衡性。本文通過仿真實(shí)驗(yàn)對iCTPH算法進(jìn)行驗(yàn)證，實(shí)驗(yàn)表明，iCTPH可將500個相似摘要發(fā)布到不足5.6％的節(jié)點(diǎn)上，僅需查詢

3、4％的節(jié)點(diǎn)即可召回85％的相似摘要。
　　 在基于iCTPH算法的分布式垃圾郵件過濾系統(tǒng)中，系統(tǒng)可用性也是一個至關(guān)重要的問題，節(jié)點(diǎn)的加入和離開會造成網(wǎng)絡(luò)抖動，進(jìn)而會極大地影響查詢準(zhǔn)確性。本文在詳細(xì)分析各種網(wǎng)絡(luò)抖動類型的基礎(chǔ)上，設(shè)計(jì)了一套數(shù)據(jù)維護(hù)算法保障系統(tǒng)可用性。該算法為每個節(jié)點(diǎn)設(shè)置兩套數(shù)據(jù)庫：MAIN_DB和AUX_DB。前者作為摘要查詢和發(fā)布的主數(shù)據(jù)庫，后者作為備份數(shù)據(jù)庫。節(jié)點(diǎn)在其運(yùn)行周期內(nèi)會不斷將MAIN_DB中的數(shù)據(jù)備份