搜索引擎結(jié)果的聚類(lèi)系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)信息的急速增長(zhǎng),搜索引擎成為了人們使用最廣泛的網(wǎng)絡(luò)工具。由于現(xiàn)在的搜索引擎返回的結(jié)果過(guò)于龐大,只是一個(gè)線性列表,用戶在使用搜索引擎時(shí),往往只瀏覽前幾個(gè)文檔,經(jīng)常找不到需要的信息,因此研究人員引入了聚類(lèi)來(lái)改善搜索引擎。由于聚類(lèi)是一種非監(jiān)督算法,并且使用十分靈活,所以它成為改善搜索引擎的一個(gè)重要工具。
　　 本文完成了搜索引擎結(jié)果聚類(lèi)系統(tǒng),使用了Lingo算法的改進(jìn)算法ALingo,對(duì)以達(dá)到能夠縮短用戶檢索時(shí)間,更快找到所需

2、信息的目的。本文的主要研究工作如下:
　　 在文本聚類(lèi)中,準(zhǔn)確的文本預(yù)處理成為了能夠提高聚類(lèi)效果的前提,在本文中,完成了中英文文本預(yù)處理,包括去除符號(hào)、中文分詞處理、英文還原詞干以及去除停用詞。然后對(duì)文檔進(jìn)行特征提取,利用向量空間模型將文本轉(zhuǎn)換成可處理的矩陣,為文檔聚類(lèi)打下良好基礎(chǔ)。
　　 深入研究Lingo算法,了解其流程以及LSI處理方法,將其與后綴樹(shù)聚類(lèi)算法相比較,突出Lingo算法的優(yōu)越性。研究發(fā)現(xiàn)Lingo算法

3、存在無(wú)法提取出存在于兩個(gè)句子中的類(lèi)標(biāo)簽的缺點(diǎn),所以本文引入了數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則的算法Apriori算法,對(duì)文檔進(jìn)行處理,尋找到文檔中的頻繁項(xiàng)集,即文檔的主題,經(jīng)過(guò)特殊的去重處理,作為搜索建議關(guān)鍵字返回給用戶。由于搜索建議關(guān)鍵字是沒(méi)有句子界限限制的,所以更加能夠體現(xiàn)出文檔的多主題特性,使用戶能夠更深入了解文檔的主題,方便進(jìn)行二次搜索,縮短搜索時(shí)間。
　　 本文完成的搜索引擎聚類(lèi)系統(tǒng)使用全文搜索引擎Lucene的搜索結(jié)果,對(duì)其進(jìn)行