基于多結構特征的垃圾博客識別研究.pdf

1、博客作為基于Internet的社交類應用，近年來保持了迅猛的發(fā)展勢頭，成為繼Email、BBS和ICQ之后出現的第四種網絡交流方式。博客在人際關系建立、維系和發(fā)展中發(fā)揮了越來越重要的作用，并已融入了人們的日常生活。隨著博客影響力的不斷加強，其副產品一垃圾博客也不斷涌現。垃圾博客的大量出現已給博客的繼續(xù)使用構成了一個很嚴重的威脅，不僅浪費存儲資源和網絡帶寬，并通過增加搜索引擎的索引和計算開銷，影響搜索結果的排名，從而降低了用戶的搜索體驗的

2、滿意度，影響用戶獲取高質量的信息。因此，如何精確的判斷垃圾博客已成為信息檢索領域亟待解決的難題之一，以及研究博客不能回避的一個問題。
　　本文在已有的基于內容的垃圾博客特征提取基礎上，提出了基于多結構特征對垃圾博客特征進行進一步提取的方法。本文從分析制造垃圾博客的作弊者的目的出發(fā)，分析了垃圾博客表現出的基于目錄頁和博文頁面的各種結構特征，并對每種特征給出了特征提取的算法。從搜索引擎的結果中獲取采集對象的地址，進而建立了更為真實和有

3、針對性的垃圾博客識別數據集。提出了基于樸素貝葉斯和支持向量機分類方法的多結構特征垃圾博客識別模型。通過訓練數據集進行參數設置，并使用測試數據集對識別模型進行檢測。
　　主要的研究內容包括以下幾個方面:
　　1.結合已有的研究，從基于作弊目的角度出發(fā)對垃圾博客表現出的結構特征進行了分析，并給出了特征提取算法。
　　2.構建了博客采集系統(tǒng)。從搜索引擎的結果中獲取采集對象的地址，采集用于垃圾博客識別的博客數據集，進行了預處理