聚類搜索引擎系統(tǒng)的研究與改進.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，文本文檔、Web頁面在互聯(lián)網(wǎng)中快速擴充，如何幫助人們更快捷、有效地獲取信息，已成為目前搜索引擎領(lǐng)域重要的研究課題之一。鑒于此，聚類搜索引擎應(yīng)運而生。聚類搜索引擎將文本聚類技術(shù)應(yīng)用到搜索引擎中，對搜索結(jié)果進行有效的聚類，幫助用戶快速準(zhǔn)確地定位感興趣內(nèi)容，從而提高搜索引擎檢索精度。近年來，聚類搜索引擎在國外發(fā)展迅速，許多技術(shù)已經(jīng)應(yīng)用成熟。相比之下國內(nèi)這方面的研究還比較少，但也有部分中文搜索引擎將聚類技術(shù)引入其中，以

2、提高中文信息檢索的精度和效率。我們將其稱為中文聚類搜索引擎。
　　 本文的主要工作是對聚類搜索引擎的體系結(jié)構(gòu)進行了深入研究，并對現(xiàn)有的中文聚類搜索引擎進行改進，以提高檢索的效率和精度。具體的研究工作簡要概括為以下幾個方面：
　　 一、對聚類搜索引擎系統(tǒng)及其核心模塊進行了簡要的設(shè)計，并在此基礎(chǔ)上對每個模塊中的關(guān)鍵技術(shù)做了一個詳細(xì)的介紹。
　　 二、目前聚類特征選取方法大多是基于統(tǒng)計學(xué)的，其中最主要的缺點是忽略了詞與

3、詞之間的語義關(guān)系，鑒于此，本文提出了結(jié)合語義的特征選擇方法。該方法首先對特征項進行詞性選擇與分類，然后計算詞語之間相似度，最后進行同義詞合并加權(quán)。經(jīng)過這些步驟使得特征選取從詞的層面上升到主題語義的層面，不僅大大降低了特征空間的維度，而且提高了聚類的速度和精度。
　　 三、K-means方法在應(yīng)用中容易受到孤立點的干擾，為了克服這個缺點，本文提出了一種基于平均密度過濾孤立點的方法。該方法簡單實用，且能夠較好的識別文本集合中的孤立點