基于語言模型的微博文本檢索方法.pdf

1、微博提供了一種新的信息傳播方式。在微博上,人們可以通過最多140個字來快速自由地表達自己的感受、見聞或者意見。微博自從出現(xiàn)以來經(jīng)歷了巨大的發(fā)展,目前風靡全球的 Twitter和國內(nèi)流行的新浪微博都有著數(shù)以億記的用戶,每天產(chǎn)生出巨大數(shù)量的新內(nèi)容。
　　隨著微博的發(fā)展,它已經(jīng)成為人們獲取信息的一種重要方式。微博中的信息與傳統(tǒng)網(wǎng)頁信息相比更加具有時效性,因為微博的內(nèi)容大部分是對熱門話題的報導或者討論?！皼]有檢索的信息是無用的”,對于微博

2、中海量的數(shù)據(jù),如何使用戶快速有效的得到他想要的內(nèi)容,是微博檢索的主要目的。
　　本文研究了微博文本檢索的兩個主要特點:(1)相關(guān)性。即檢索結(jié)果應(yīng)該與用戶的查詢盡可能的相關(guān)。(2)實時性。即用戶希望得到盡可能新的結(jié)果。目前流行的商用搜索引擎都采用了一種簡單的檢索模型,即將包含所有查詢詞的微博按其創(chuàng)建時間排序。這種方法雖然考慮到了微博檢索的兩個特點,按創(chuàng)建時間排序的方法也保證了檢索結(jié)果的實時性,但是這種方法過于“嚴格”的相關(guān)性判斷標準

3、會使得大量的相關(guān)文檔被過濾掉。
　　本文在語言模型的檢索方法下整體考慮微博檢索的相關(guān)性和實時性。語言模型方法主要包括兩個部分:與查詢相關(guān)的相關(guān)性模型和與查詢無關(guān)的文檔先驗模型。本文使用了一種基于創(chuàng)建時間的文檔先驗模型來考慮微博檢索的實時性,實驗結(jié)果表明這種模型的引入可以使結(jié)果提高4％到5%。而對于相關(guān)性模型的選擇,本文對比了古老的伯努利模型和目前占主導地位的多項式模型。雖然多項式模型在傳統(tǒng)的文本檢索中被認為是優(yōu)于伯努利模型的,但最

4、近伯努利模型在句子檢索中的優(yōu)秀表現(xiàn)顯示了它在短文本檢索中的有效性?？紤]到微博的短文本特性,有必要對伯努利模型在微博檢索的效果進行研究。實驗結(jié)果表明伯努利模型在微博檢索中的結(jié)果的準確率要高于多項式模型,而且伯努利模型對于平滑參數(shù)的改變也比多項式模型更加穩(wěn)定。因此,在語言模型方法中結(jié)合了伯努利模型和基于微博創(chuàng)建時間的文檔先驗模型的檢索方法有著最好的結(jié)果。
　　除了對檢索結(jié)果按相關(guān)性排序的方法之外,本文還研究了將檢索結(jié)果按微博創(chuàng)建時間排

5、序的方法。本文采用了一種利用語言模型的檢索結(jié)果進行重排序的方法,并對重排序閾值的選擇進行了重點研究,使用了一種基于文檔得分分布的自動閾值選擇方法。這種方法利用高斯分布對相關(guān)文檔的得分進行建模,并用指數(shù)分布對不相關(guān)文檔的得分進行建模,并在缺少相關(guān)性標注的情況下利用期望最大化算法(EM)對混合模型進行參數(shù)估計。實驗結(jié)果表明這種自動閾值選擇方法的結(jié)果要比人工設(shè)定固定閾值的方法至少高出9%,而且自動閾值選擇的方法也避免了在沒有任何啟發(fā)信息的情況