基于特征篩選的微博轉(zhuǎn)發(fā)行為研究.pdf

1、隨著社交平臺(tái)和移動(dòng)互聯(lián)網(wǎng)的普及，微博逐漸成為人們分享和獲取信息的主流平臺(tái)之一。特別是近年來(lái)國(guó)內(nèi)外重大事件，大量一手資訊都先出現(xiàn)在微博網(wǎng)絡(luò)。微博網(wǎng)絡(luò)內(nèi)信息能夠快速傳播是其在信息傳播方面的主要優(yōu)勢(shì)，而其中信息得到快速傳播的主要方式就是依靠微博用戶的轉(zhuǎn)發(fā)行為。因此，對(duì)于微博網(wǎng)絡(luò)轉(zhuǎn)發(fā)行為的研究具有重要研究?jī)r(jià)值和實(shí)際意義。本文主要進(jìn)行了微博轉(zhuǎn)發(fā)行為預(yù)測(cè)和轉(zhuǎn)發(fā)規(guī)模預(yù)測(cè)的相關(guān)研究。
　　本文使用基于爬蟲(chóng)模擬登錄的數(shù)據(jù)采集方式爬取大約84萬(wàn)條微博

2、信息。在特征提取方面，擴(kuò)展出了用戶活躍度和博文影響力特征。針對(duì)微博文本短、詞語(yǔ)相關(guān)性難以挖掘的問(wèn)題，通過(guò)加入作者主題分布和對(duì)轉(zhuǎn)發(fā)微博的處理來(lái)改進(jìn)標(biāo)準(zhǔn)LDA模型在短文本處理上的缺陷。針對(duì)數(shù)據(jù)集中存在本身與預(yù)測(cè)無(wú)關(guān)的特征以及冗余特征，本文采用混合選擇的方式，首先剔除無(wú)關(guān)特征或噪聲特征，使后續(xù)特征搜索規(guī)模得到有效縮減，然后將選取后的特征通過(guò)封裝方法繼續(xù)進(jìn)行優(yōu)化選取。即使用改進(jìn)的奇異值分解（Singular Value Decompositio

3、n）實(shí)現(xiàn)數(shù)據(jù)降維去噪后，根據(jù)隨機(jī)森林算法（Random Forest）本身的變量重要程度對(duì)特征排序，其中使用分類(lèi)準(zhǔn)確率作為特征可分性判據(jù)，利用可回溯的貪婪搜索擴(kuò)張，最好優(yōu)先原則選取特征子集。
　　通過(guò)實(shí)驗(yàn)研究發(fā)現(xiàn)，微博轉(zhuǎn)發(fā)規(guī)模較大用戶在全部用戶中占比很低，即微博的轉(zhuǎn)發(fā)規(guī)模總是存在冪律分布。由于微博的轉(zhuǎn)發(fā)量的不平衡性會(huì)導(dǎo)致某些模型為了在訓(xùn)練時(shí)得到更小的損失函數(shù)而偏向于預(yù)測(cè)較小的值。針對(duì)該問(wèn)題，提出了兩階段模型。在第一階段，使用不易過(guò)