基于多結(jié)構(gòu)特征的垃圾博客識別研究.pdf

1、博客作為基于Internet的社交類應(yīng)用，近年來保持了迅猛的發(fā)展勢頭，成為繼Email、BBS和ICQ之后出現(xiàn)的第四種網(wǎng)絡(luò)交流方式。博客在人際關(guān)系建立、維系和發(fā)展中發(fā)揮了越來越重要的作用，并已融入了人們的日常生活。隨著博客影響力的不斷加強，其副產(chǎn)品一垃圾博客也不斷涌現(xiàn)。垃圾博客的大量出現(xiàn)已給博客的繼續(xù)使用構(gòu)成了一個很嚴(yán)重的威脅，不僅浪費存儲資源和網(wǎng)絡(luò)帶寬，并通過增加搜索引擎的索引和計算開銷，影響搜索結(jié)果的排名，從而降低了用戶的搜索體驗的

2、滿意度，影響用戶獲取高質(zhì)量的信息。因此，如何精確的判斷垃圾博客已成為信息檢索領(lǐng)域亟待解決的難題之一，以及研究博客不能回避的一個問題。
　　本文在已有的基于內(nèi)容的垃圾博客特征提取基礎(chǔ)上，提出了基于多結(jié)構(gòu)特征對垃圾博客特征進(jìn)行進(jìn)一步提取的方法。本文從分析制造垃圾博客的作弊者的目的出發(fā)，分析了垃圾博客表現(xiàn)出的基于目錄頁和博文頁面的各種結(jié)構(gòu)特征，并對每種特征給出了特征提取的算法。從搜索引擎的結(jié)果中獲取采集對象的地址，進(jìn)而建立了更為真實和有

3、針對性的垃圾博客識別數(shù)據(jù)集。提出了基于樸素貝葉斯和支持向量機(jī)分類方法的多結(jié)構(gòu)特征垃圾博客識別模型。通過訓(xùn)練數(shù)據(jù)集進(jìn)行參數(shù)設(shè)置，并使用測試數(shù)據(jù)集對識別模型進(jìn)行檢測。
　　主要的研究內(nèi)容包括以下幾個方面:
　　1.結(jié)合已有的研究，從基于作弊目的角度出發(fā)對垃圾博客表現(xiàn)出的結(jié)構(gòu)特征進(jìn)行了分析，并給出了特征提取算法。
　　2.構(gòu)建了博客采集系統(tǒng)。從搜索引擎的結(jié)果中獲取采集對象的地址，采集用于垃圾博客識別的博客數(shù)據(jù)集，進(jìn)行了預(yù)處理