博客數(shù)據(jù)特征提取與基于分類的垃圾博客過濾.pdf

1、隨著Internet的迅速發(fā)展，博客成了繼Email、BBS、QQ/ICQ之后的新一代網(wǎng)絡交流方式，并以極快的速度融入到人們的日常生活中，成為基于互聯(lián)網(wǎng)的基礎服務。隨著博客空間的急速增長，垃圾博客也迅猛蔓延到博客空間的各個角落；而大量垃圾博客的存在，嚴重影響了信息檢索的準確性，從而使得用戶體驗變得越來越差，如何精確地判斷垃圾博客成為信息檢索領域亟待解決的難題之一。在信息安全領域，博客內(nèi)容傾向性分析成為新的研究熱點之一，但大量垃圾博客的存

2、在將嚴重影響傾向性分析的結果，大大降低其正確性和可信性。因此，必須對博客進行垃圾過濾，以便進行進一步的分析和檢索。 本文在已有的垃圾博客特征提取基礎上，提出了采用詞性分析手段對博客特征進行進一步提取的方法。首先考慮到在中文的語法結構中，一個句子由主謂賓構成，尤其在口語話的語句中，還會有很多省略句，這些句子通常只有主語和謂語或僅僅只有謂語。而且博客作者大都在博客文章中記錄一些關于自己感興趣的事情，或者記錄自己的心情和近況，會在博客

3、正文中使用豐富的形容詞和語氣詞來表達自己。而垃圾博客通常只是為了提高用戶的點擊率，或者希望通過增加鏈接和關鍵詞的方式來提升某個網(wǎng)頁在搜索引擎中的重要程度，因此在文章中會出現(xiàn)大量的名詞，尤其是跟行業(yè)相關的專有名詞。所以，對博客文章進行詞性分析，提取出跟詞性相關的一些特征會大大增加特征之間的互補性，提高垃圾博客分類與過濾的效果。 進一步，本文設計了一種針對垃圾博客過濾的動態(tài)組合分類算法。該算法首先構造出一種樹狀組合分類器結構來支持分