搜索引擎中文檔聚類方法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，Web 上的信息浩如煙海，搜索引擎作為互聯(lián)網(wǎng)中的基礎(chǔ)應(yīng)用已經(jīng)成為人們獲取信息的重要工具。為了能給用戶提供更好的搜索服務(wù)，近年來，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)被廣泛用來改善搜索結(jié)果的質(zhì)量。其中，聚類技術(shù)在無任何先驗知識的情況下，能將大規(guī)模數(shù)據(jù)按照數(shù)據(jù)的相似性劃分成用戶可迅速理解的簇(cluster)，從而使用戶更快地了解大量文檔中所包含的內(nèi)容。因此，聚類技術(shù)成為搜索引擎中不可或缺的部分和研究熱點。
　　 在搜索引擎中，

2、存在著兩類數(shù)據(jù)：一是搜索引擎從互聯(lián)網(wǎng)抓取的文檔即用戶搜索的對象，包括普通文本網(wǎng)頁、XML 文檔和包括Flash、AJAX 在內(nèi)的超鏈接信息較少的文檔；二是搜索日志即用戶使用搜索引擎時產(chǎn)生的行為記錄(userbehavior data)，搜索日志提供了一個潛在的知識庫來輔助文檔聚類分析。不同的文檔有不同的特點，不同的應(yīng)用對聚類分析有不同的要求。因此，數(shù)據(jù)的表示、數(shù)據(jù)相似度的定義，以及聚類分組算法是重要研究課題，具有重要的理論和實際意義。<

3、br>　　 對于文本文檔(text document),現(xiàn)有的文本聚類算法忽略了文檔是有序的單詞序列而將文檔視為一系列離散單詞的集合?；趲Т翱诩s束的關(guān)聯(lián)規(guī)則的聚類算法(FICW)首先用滑動窗口對單詞的位置進(jìn)行約束，挖掘出文本集合中的頻繁項目集，然后將得到的頻繁項目集用于文本聚類。實驗表明，F(xiàn)ICW 產(chǎn)生了質(zhì)量更高的聚類結(jié)果，具有更好的效率和伸縮性。
　　 XML 文檔是Web 上的重要組成部分，基于公共路徑的XML 文檔相似

4、度定義因為計算開銷小而被應(yīng)用于XML 聚類，卻忽略了公共子路徑在XML 樹上的分布信息。一種基于啟發(fā)性策略的合并編輯距離(MED)，利用將兩棵XML 樹壓縮為它們的公共子樹所需的編輯代價來捕獲公共子路徑的分布情況。實驗表明，MED 成功表示了XML 樹間公共子樹的分布情況，基于MED的相似度定義較基于路徑的相似度定義更好地衡量了XML 文檔間的相似程度。另一方面，為解決XML 文檔隨意命名標(biāo)簽導(dǎo)致的度量XML 文檔相似度困難的問題，根據(jù)

5、XML 描述同類對象時，所使用的數(shù)據(jù)在數(shù)據(jù)類型的構(gòu)成上具有一致性的特點，一種基于數(shù)據(jù)類型樹的相似度評估標(biāo)準(zhǔn)被應(yīng)用于XML 文檔聚類中。實驗驗證了該相似度定義的有效性，得到了較高質(zhì)量的聚類結(jié)果。
　　 搜索日志記錄的用戶點擊情況反映了網(wǎng)頁中哪些主題才是真正引起用戶興趣的主題。因此利用搜索日志從用戶的角度對網(wǎng)頁進(jìn)行聚類分析成為一種有效的方法?；谟脩粜袨榈幕旌暇W(wǎng)頁表示模型首先從搜索引擎的搜索日志中抽取訪問過給定網(wǎng)頁的查詢，將這些查詢

6、作為描述該網(wǎng)頁的主題詞，然后以主題詞為中心從網(wǎng)頁中抽取內(nèi)容生成描述網(wǎng)頁的虛擬文檔以及相應(yīng)的向量表示。實驗結(jié)果表明，該混合表示模型能有效地改善網(wǎng)頁分類和聚類的質(zhì)量。
　　 Web 上的AJAX 應(yīng)用和PowerPoint 文件等弱鏈接文檔由于缺乏足夠的超鏈接信息，導(dǎo)致搜索該類文檔時，排序結(jié)果不佳。針對該問題，基于聚類的弱鏈接文檔排序算法利用聚類算法從高質(zhì)量的網(wǎng)頁搜索結(jié)果中提取與查詢相關(guān)的主題，并根據(jù)主題的相關(guān)網(wǎng)頁的排名確定該主題的