面向搜索引擎的SPAM識別技術(shù)和對其準確率提升的研究.pdf

1、互聯(lián)網(wǎng)自出現(xiàn)以來，經(jīng)過短短幾年已經(jīng)發(fā)展成為一個巨大的全球化信息空間，隨著各種互聯(lián)網(wǎng)信息檢索系統(tǒng)(搜索引擎)的誕生，針對搜索引擎的作弊(SPAM)也成為影響用戶獲得有效結(jié)果，困擾搜索引擎發(fā)展的重要問題。本文論述了一套SPAM識別系統(tǒng)的設(shè)計到實現(xiàn)的過程。 文章簡述了搜索引擎常用的算法，指出了其中可能被作弊者利用的地方，并列舉了一些常用的作弊方式，分析了這些方法制作的網(wǎng)頁會被檢索到的原因。對于這些問題網(wǎng)站的處理目前都是加以人工參與，這

2、種方式準確率高，但是成本也很高，不能推廣，無法批量處理。這在海量信息的今天已經(jīng)成為成為了瓶頸，這使得研發(fā)一套高效的自動識別系統(tǒng)成為必然。 系統(tǒng)考慮了實用性、擴展性、易用性等多方面因素，按三個層次進行設(shè)計。 數(shù)據(jù)采集層根據(jù)巴萊多定律對日志中的數(shù)據(jù)進行了優(yōu)化，保證在較少的設(shè)備資源投入下可以監(jiān)控較多流量的數(shù)據(jù)，在用戶體驗和成本間得到一個較好的平衡。 分類預(yù)測層通過獲取頁面的各種特征信息對頁面進行分類。這個過程是對支持向

3、量機模型的應(yīng)用。將有一定特征的數(shù)據(jù)進行分析量化后轉(zhuǎn)化為訓(xùn)練數(shù)據(jù)，提供給訓(xùn)練模型程序，程序可以建立一個數(shù)學(xué)模型。使用訓(xùn)練好的模型就可以對未知的數(shù)據(jù)進行預(yù)測，預(yù)測程序便會根據(jù)模型預(yù)測出待預(yù)測數(shù)據(jù)的分類。 數(shù)據(jù)過濾層是最后對系統(tǒng)校正的過程。一般分類結(jié)果得到的準確率在85％左右，作為生產(chǎn)精度還有距離。因此必須要對產(chǎn)出的數(shù)據(jù)再做一遍加工，使系統(tǒng)真正可以到達上線標準。 本系統(tǒng)是一個直接面向生產(chǎn)的系統(tǒng)，僅僅是對理論設(shè)計的實現(xiàn)還遠遠不夠