社會化短文本檢索系統(tǒng)設(shè)計與實現(xiàn).pdf

1、近年來社交網(wǎng)絡(luò)風靡全球，受到人們廣泛關(guān)注和熱烈追捧。在社會網(wǎng)絡(luò)中擁有數(shù)量巨大的文本信息，這些文本內(nèi)容覆蓋全面、發(fā)布及時、主體化特征明顯，是人們快速、便捷地獲取信息的重要途徑之一。與普通文本不同的是，社交網(wǎng)絡(luò)中的文本具有文本內(nèi)容短、文本間具有復(fù)雜的社會關(guān)系、話題多樣、與 Web信息具有較強的關(guān)聯(lián)性等特點。為與普通文本區(qū)別，定義這種含有豐富“社會關(guān)系”的文本為“社會化短文本”，社會化短文本的社會關(guān)系包括：短文本間的轉(zhuǎn)發(fā)、回復(fù)、評論關(guān)系、短文

2、本作者之間的關(guān)注與被關(guān)注關(guān)系、由鏈接建立的短文本與Web文檔的關(guān)系等。社會化短文本的特點給社會網(wǎng)絡(luò)中文本信息的訪問帶來巨大挑戰(zhàn)，傳統(tǒng)的信息檢索技術(shù)并不能很好適應(yīng)社會化短文本的特點，返回滿足用戶查詢的結(jié)果。因此為了滿足廣大用戶的需求，幫助用戶高效地獲取信息，本文在現(xiàn)有檢索平臺的基礎(chǔ)上，建立了一個面向社會化短文本的檢索系統(tǒng)。
　　本文以信息檢索領(lǐng)域理論為基礎(chǔ)，以現(xiàn)有開源搜索引擎為平臺，以針對社會化短文本排序的多重增強圖算法為核心設(shè)計了

3、面向社會化短文本的檢索系統(tǒng)。本系統(tǒng)首先完成數(shù)據(jù)預(yù)處理工作，包括數(shù)據(jù)清洗、去重，同時實現(xiàn)了文本主題模型構(gòu)建；其次，利用現(xiàn)有檢索平臺Indri進行數(shù)據(jù)集的索引構(gòu)建工作，并完成初步查詢，獲得初步檢索結(jié)果；最后，利用多重增強圖算法對初步檢索結(jié)果再排序，進行優(yōu)化。多重增強圖算法是基于馬爾科夫鏈理論設(shè)計出的圖模型算法，在圖算法中融入了社會化短文本中蘊含的各種關(guān)系，并充分考慮了文本、作者、詞語三個不同層面的因素間關(guān)系，通過多次迭代運算，最終尋求多個層