Web文檔聚類在搜索引擎中的應用研究.pdf

1、隨著互聯(lián)網(wǎng)上數(shù)據(jù)量爆炸式的增長，搜索引擎技術得到廣泛的研究，并且出現(xiàn)了一批非常優(yōu)秀的搜索引擎。但是，現(xiàn)有的搜索引擎只是將返回結果簡單地進行線性排列，用戶想要的信息可能被淹沒在龐大的返回結果列表中，給用戶帶來極大的不便。 本文致力于將搜索引擎返回結果進行聚類，把搜索引擎返回的結果組織成具有層次的類結構，同一類中的文檔之間的相似度盡可能的大，不同類中的文檔之間的相似度盡可能的小，并給每個類賦予一個具有良好描述性的標簽，從而便于用戶瀏

2、覽，縮短用戶查找自己所需信息的時間。 通過對當前主流聚類算法的研究，設計了一種基于STC算法的改進算法STC—I。STC—I算法的提出是因為STC算法有兩個缺點—特征空間維數(shù)過高和未考慮查詢關鍵詞與文檔的相關度。針對STC的這兩個缺點，STC—I算法通過剔除同義詞、近義詞來給文檔降維，從而降低算法的時間復雜度。計算文檔對于查詢的相關度，不讓與查詢相關度較低的文檔參與聚類，從而提高聚類的準確率。實驗數(shù)據(jù)表明改進后的算法在時間復雜度

3、和聚類的準確性方面較原算法有較大的改善。 考慮到日常生活中人們將文檔分類的主要參考因素是文檔的主題，設計了一種基于主題的聚類方法—HTBC。HTBC首先根據(jù)文檔的標題和正文提取文檔的關鍵詞向量，然后通過訓練文本集生成詞類，將每個關鍵詞向量歸類到其應屬的詞類，將同屬于一個詞類的關鍵詞向量對應的文檔歸并到用對應詞類的名字代表的類，從而達到聚類的目的。HTBC共分四個步驟：預處理、建立主題向量、生成詞類和主題聚類。實驗表明HTBC在準