微博短文本檢索關(guān)鍵技術(shù)研究.pdf

1、微博是通過某個社會媒體分享的不超過140個字符的短文本消息,比如Twitter或者新浪微博。微博能夠吸引上億用戶的使用,是因為用戶通過關(guān)注自己感興趣的人可以獲得實時的消息。經(jīng)過近五年的快速發(fā)展,微博已經(jīng)成為社會媒體的典型代表,更是人們不可或缺的重要實時信息來源。在本文,微博特指通過Twitter分享的微博。
　　微博數(shù)據(jù)劇烈增長,從大量的微博信息中幫助用戶更加準(zhǔn)確地找到他們感興趣的微博就成了微博檢索的重要任務(wù)。由于微博文本短小,書

2、寫隨意,噪聲大,而且實時性強的特點,傳統(tǒng)信息檢索技術(shù)在海量微博檢索中遇到巨大挑戰(zhàn)。為了解決這一問題,本文針對微博檢索任務(wù)的幾個關(guān)鍵技術(shù)進(jìn)行了研究。本文主要分成以下四個方面進(jìn)行研究:
　　1.基于熱點時間的文檔語言模型建模。在本章中,首先我們調(diào)研了兩類典型的基于時間的語言模型,其基本假設(shè)是文檔越新鮮,文檔越重要。然后對微博真實查詢的相關(guān)文檔的時間分布進(jìn)行了分析,證實了傳統(tǒng)的假設(shè)并不總是成立的。最后對查詢的熱點時間進(jìn)行了定義,并建立了

3、基于熱點時間的語言模型方法用于微博檢索,并和傳統(tǒng)方法進(jìn)行了實驗性對比。
　　2.融入時間信息的查詢建模。在本章中我們利用時間特性(實時性,時間變化)對用戶查詢進(jìn)行擴展,提高檢索精度。具體的講,探索了三種查詢擴展方法。一種是基于實時性的查詢擴展,能夠?qū)崟r性的查詢提供候選詞。第二種是針對相關(guān)文檔時間分布波峰離查詢時間點較遠(yuǎn)或者出現(xiàn)多波峰的情況,此方法獲取原始查詢和擴展查詢的時間屬性,基于這兩個分布的最小KL-分散度選擇好的擴展詞。第

4、三種方法利用對文檔年齡進(jìn)行高斯分布建模巧妙的將前兩種查詢擴展方法進(jìn)行了融合,是一種自適應(yīng)權(quán)重的有效方法。
　　3.基于參考文檔模型的微博文本檢索。在本章中我們通過對微博短文本模型建模遇到的潛在困難進(jìn)行分析的基礎(chǔ)上,引入?yún)⒖嘉臋n模型對微博文本進(jìn)行擴展,提高微博文本的模型估計精度,探究了文檔信息增益對檢索性能的影響。進(jìn)一步利用參考文檔同時對查詢和文檔進(jìn)行偽反饋。實驗結(jié)果表明,對查詢和文檔同時進(jìn)行偽反饋的性能是最好的,遠(yuǎn)遠(yuǎn)好于傳統(tǒng)反饋方