基于網(wǎng)絡(luò)爬蟲的虛假網(wǎng)頁主動智能檢測.pdf

1、網(wǎng)絡(luò)釣魚是通過給用戶投遞來自企業(yè)組織或者金融機(jī)構(gòu)的欺騙性垃圾郵件，引誘用戶泄露個人私密隱私信息的一種攻擊方式。最常見的方式是將用戶引誘到與目標(biāo)正常網(wǎng)頁十分類似的虛假網(wǎng)頁上，并竊取受害者在其網(wǎng)頁上保存的個人私密信息。近幾年來隨著虛假網(wǎng)頁的危害越來越嚴(yán)重，虛假網(wǎng)頁檢測作為一種反釣魚技術(shù)與措施被人們廣泛關(guān)注。本文提出一種基于網(wǎng)絡(luò)爬蟲的虛假網(wǎng)頁主動智能檢測系統(tǒng)，在得到與目標(biāo)網(wǎng)站相似網(wǎng)頁的基礎(chǔ)上，通過提取相似網(wǎng)頁的特征并對特征向量利用Autoen

2、coder進(jìn)行降維預(yù)處理，最后再利用BVM分類器檢測辨別虛假網(wǎng)頁。
　　首先，由于被動檢測的滯后性，論文采用主動檢測模式，即使用編輯距離計算出種子站點與目標(biāo)站點URL地址相似的網(wǎng)頁。其次，在得到相似網(wǎng)頁的基礎(chǔ)上，對這些網(wǎng)頁分別進(jìn)行特征提取，虛假網(wǎng)頁的檢測結(jié)果很大程度上取決于網(wǎng)站特征的提取，本文較全面的提取了網(wǎng)頁的文檔特征和拓?fù)涮卣?，并且充實了特征元素的種類，在對網(wǎng)頁的文本特征和源碼分析的基礎(chǔ)上，提出了更加準(zhǔn)確全面的虛假網(wǎng)頁特征向量

3、，然后利用Autoencoder對其特征向量進(jìn)行降維預(yù)處理，使處理后的特征向量更加符合分類器的要求，并且提高了虛假網(wǎng)頁檢測的精度。再次，論文利用機(jī)器學(xué)習(xí)算法BVM構(gòu)建了虛假網(wǎng)頁主動智能檢測分類器，給出了基于BVM的虛假網(wǎng)頁的智能檢測的步驟和實驗結(jié)果，并分析了算法的優(yōu)缺點。通過大量的實驗，得出本文提出的基于BVM虛假網(wǎng)頁主動智能檢測方法具有較高的精確度并且有較短的消耗時間。最后，本文用Java Web技術(shù)實現(xiàn)了一個基于網(wǎng)絡(luò)爬蟲的虛假網(wǎng)頁主