社會(huì)化短文本檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)社交網(wǎng)絡(luò)風(fēng)靡全球，受到人們廣泛關(guān)注和熱烈追捧。在社會(huì)網(wǎng)絡(luò)中擁有數(shù)量巨大的文本信息，這些文本內(nèi)容覆蓋全面、發(fā)布及時(shí)、主體化特征明顯，是人們快速、便捷地獲取信息的重要途徑之一。與普通文本不同的是，社交網(wǎng)絡(luò)中的文本具有文本內(nèi)容短、文本間具有復(fù)雜的社會(huì)關(guān)系、話題多樣、與 Web信息具有較強(qiáng)的關(guān)聯(lián)性等特點(diǎn)。為與普通文本區(qū)別，定義這種含有豐富“社會(huì)關(guān)系”的文本為“社會(huì)化短文本”，社會(huì)化短文本的社會(huì)關(guān)系包括：短文本間的轉(zhuǎn)發(fā)、回復(fù)、評(píng)論關(guān)系、短文

2、本作者之間的關(guān)注與被關(guān)注關(guān)系、由鏈接建立的短文本與Web文檔的關(guān)系等。社會(huì)化短文本的特點(diǎn)給社會(huì)網(wǎng)絡(luò)中文本信息的訪問(wèn)帶來(lái)巨大挑戰(zhàn)，傳統(tǒng)的信息檢索技術(shù)并不能很好適應(yīng)社會(huì)化短文本的特點(diǎn)，返回滿足用戶查詢的結(jié)果。因此為了滿足廣大用戶的需求，幫助用戶高效地獲取信息，本文在現(xiàn)有檢索平臺(tái)的基礎(chǔ)上，建立了一個(gè)面向社會(huì)化短文本的檢索系統(tǒng)。
　　本文以信息檢索領(lǐng)域理論為基礎(chǔ)，以現(xiàn)有開(kāi)源搜索引擎為平臺(tái)，以針對(duì)社會(huì)化短文本排序的多重增強(qiáng)圖算法為核心設(shè)計(jì)了

3、面向社會(huì)化短文本的檢索系統(tǒng)。本系統(tǒng)首先完成數(shù)據(jù)預(yù)處理工作，包括數(shù)據(jù)清洗、去重，同時(shí)實(shí)現(xiàn)了文本主題模型構(gòu)建；其次，利用現(xiàn)有檢索平臺(tái)Indri進(jìn)行數(shù)據(jù)集的索引構(gòu)建工作，并完成初步查詢，獲得初步檢索結(jié)果；最后，利用多重增強(qiáng)圖算法對(duì)初步檢索結(jié)果再排序，進(jìn)行優(yōu)化。多重增強(qiáng)圖算法是基于馬爾科夫鏈理論設(shè)計(jì)出的圖模型算法，在圖算法中融入了社會(huì)化短文本中蘊(yùn)含的各種關(guān)系，并充分考慮了文本、作者、詞語(yǔ)三個(gè)不同層面的因素間關(guān)系，通過(guò)多次迭代運(yùn)算，最終尋求多個(gè)層