基于微博的知識詞條推薦算法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，人們的社交生活及信息獲取方式發(fā)生了巨大的變化。微博的興起讓人們能夠快速獲取海量信息，如何從海量信息中自動發(fā)現(xiàn)有價值的內(nèi)容并推薦給用戶具有重要意義。利用知識發(fā)現(xiàn)的相關(guān)方法來挖掘海量數(shù)據(jù)中的有用信息，利用用戶的社交關(guān)系解決傳統(tǒng)推薦算法所面臨的數(shù)據(jù)稀疏問題是當(dāng)前研究的熱點(diǎn)?；谖⒉┑闹R詞條發(fā)現(xiàn)及推薦是在大數(shù)據(jù)和個性化時代的大背景下提出的。從海量微博數(shù)據(jù)中抽取知識詞條，并將其推薦給感興趣的微博用戶是本課題研究的重點(diǎn)。

2、　　在語料庫構(gòu)建任務(wù)上，知識詞條發(fā)現(xiàn)語料庫大多基于長文本構(gòu)建，尚無利用微博構(gòu)建的標(biāo)準(zhǔn)語料庫。基于社交網(wǎng)絡(luò)的推薦語料庫，主要推薦音樂、好友等內(nèi)容，沒有推薦微博知識詞條相關(guān)的公開語料庫。針對語料庫存在的問題，本文利用微博爬蟲從新浪微博中獲取大量微博數(shù)據(jù)及微博用戶社交關(guān)系數(shù)據(jù)，并構(gòu)造了微博知識詞條發(fā)現(xiàn)語料庫及微博知識詞條推薦語料庫。
　　在微博知識詞條發(fā)現(xiàn)任務(wù)上，本文利用基于條件隨機(jī)場（Conditional Random Fields

3、，簡稱CRFs）的方法從微博中識別知識詞條。為了解決基于傳統(tǒng)文本特征的CRFs模型在微博知識詞條發(fā)現(xiàn)任務(wù)上召回率偏低的問題，本文從大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)中學(xué)習(xí)詞聚類特征并從訓(xùn)練集中構(gòu)造知識詞條詞典，最后將詞聚類特征及知識詞條詞典融入 CRFs模型。在評測集上，融合詞聚類特征的微博知識詞條發(fā)現(xiàn)算法比采用基本特征的微博知識詞條發(fā)現(xiàn)算法的F1值提高了6.56％，引入訓(xùn)練集詞典特征的微博知識詞條發(fā)現(xiàn)算法相比基本算法提高了8.05%，結(jié)合兩類特征的方

4、法則提高了8.43%。此外，本文還研究了聚類類別數(shù)和語料庫規(guī)模對詞聚類特征的影響。
　　在微博知識詞條推薦任務(wù)上，本文利用微博中的社交關(guān)系及時間因子改進(jìn)了傳統(tǒng)的協(xié)同過濾算法，并將其與傳統(tǒng)的協(xié)同過濾算法、基于內(nèi)容的推薦算法作對比。實驗結(jié)果表明，社交關(guān)系及時間因子能夠顯著提升推薦算法的性能，本文提出的利用社交關(guān)系和時間因子改進(jìn)的協(xié)同過濾算法的F1值相比傳統(tǒng)協(xié)同過濾算法提高了20.37%。
　　最后，基于以上研究工作，本文實現(xiàn)了一