微博短文本檢索關(guān)鍵技術(shù)研究.pdf

1、微博是通過某個(gè)社會(huì)媒體分享的不超過140個(gè)字符的短文本消息,比如Twitter或者新浪微博。微博能夠吸引上億用戶的使用,是因?yàn)橛脩敉ㄟ^關(guān)注自己感興趣的人可以獲得實(shí)時(shí)的消息。經(jīng)過近五年的快速發(fā)展,微博已經(jīng)成為社會(huì)媒體的典型代表,更是人們不可或缺的重要實(shí)時(shí)信息來(lái)源。在本文,微博特指通過Twitter分享的微博。
　　微博數(shù)據(jù)劇烈增長(zhǎng),從大量的微博信息中幫助用戶更加準(zhǔn)確地找到他們感興趣的微博就成了微博檢索的重要任務(wù)。由于微博文本短小,書

2、寫隨意,噪聲大,而且實(shí)時(shí)性強(qiáng)的特點(diǎn),傳統(tǒng)信息檢索技術(shù)在海量微博檢索中遇到巨大挑戰(zhàn)。為了解決這一問題,本文針對(duì)微博檢索任務(wù)的幾個(gè)關(guān)鍵技術(shù)進(jìn)行了研究。本文主要分成以下四個(gè)方面進(jìn)行研究:
　　1.基于熱點(diǎn)時(shí)間的文檔語(yǔ)言模型建模。在本章中,首先我們調(diào)研了兩類典型的基于時(shí)間的語(yǔ)言模型,其基本假設(shè)是文檔越新鮮,文檔越重要。然后對(duì)微博真實(shí)查詢的相關(guān)文檔的時(shí)間分布進(jìn)行了分析,證實(shí)了傳統(tǒng)的假設(shè)并不總是成立的。最后對(duì)查詢的熱點(diǎn)時(shí)間進(jìn)行了定義,并建立了

3、基于熱點(diǎn)時(shí)間的語(yǔ)言模型方法用于微博檢索,并和傳統(tǒng)方法進(jìn)行了實(shí)驗(yàn)性對(duì)比。
　　2.融入時(shí)間信息的查詢建模。在本章中我們利用時(shí)間特性(實(shí)時(shí)性,時(shí)間變化)對(duì)用戶查詢進(jìn)行擴(kuò)展,提高檢索精度。具體的講,探索了三種查詢擴(kuò)展方法。一種是基于實(shí)時(shí)性的查詢擴(kuò)展,能夠?qū)?shí)時(shí)性的查詢提供候選詞。第二種是針對(duì)相關(guān)文檔時(shí)間分布波峰離查詢時(shí)間點(diǎn)較遠(yuǎn)或者出現(xiàn)多波峰的情況,此方法獲取原始查詢和擴(kuò)展查詢的時(shí)間屬性,基于這兩個(gè)分布的最小KL-分散度選擇好的擴(kuò)展詞。第

4、三種方法利用對(duì)文檔年齡進(jìn)行高斯分布建模巧妙的將前兩種查詢擴(kuò)展方法進(jìn)行了融合,是一種自適應(yīng)權(quán)重的有效方法。
　　3.基于參考文檔模型的微博文本檢索。在本章中我們通過對(duì)微博短文本模型建模遇到的潛在困難進(jìn)行分析的基礎(chǔ)上,引入?yún)⒖嘉臋n模型對(duì)微博文本進(jìn)行擴(kuò)展,提高微博文本的模型估計(jì)精度,探究了文檔信息增益對(duì)檢索性能的影響。進(jìn)一步利用參考文檔同時(shí)對(duì)查詢和文檔進(jìn)行偽反饋。實(shí)驗(yàn)結(jié)果表明,對(duì)查詢和文檔同時(shí)進(jìn)行偽反饋的性能是最好的,遠(yuǎn)遠(yuǎn)好于傳統(tǒng)反饋方