基于DHT的分布式價格搜索引擎研究.pdf

1、近年來,隨著網絡資源的多樣化和人們對專有領域信息的需求,垂直搜索引擎的研究越來越受到人們的關注。面向價格的搜索就是垂直搜索引擎中的一種。但現有的價格搜索引擎幾乎都是基于集中式的,當大量用戶在同一時間進行請求時,中央服務器就會成為“瓶頸”且容易出現單點故障。隨著網絡規(guī)模的不斷擴大,對分布式垂直搜索的研究顯得越來越重要。本文將P2P技術與垂直搜索引擎相結合,設計了一個基于DHT的分布式價格搜索引擎,并討論了主題爬蟲的爬行策略、利用URL規(guī)則

2、對網頁的主題相關性進行判斷以及利用XPath技術對web信息進行抽取。然后討論了如何利用DHT的思想實現索引的構建和分布式存儲,有效的避免了集中式索引可能出現的問題。
　　最后,針對現有的價格搜素引擎存在的搜索結果呈現結構不清晰、混亂的問題,本文提出了對搜索結果進行聚類的想法。通過對現有聚類算法的研究和分析,本文對k-means算法進行了改進,并利用改進后的算法對搜索結果進行聚類,使得簇內的文檔相似度較高,簇間的文檔相似度較低。然