WEB信息資源主題搜索技術研究.pdf

1、隨著網絡技術的發(fā)展、Web3.0時代的到來以及信息需求的變化，通用搜索引擎的缺點表現得越來越明顯?；ヂ摼W上每天都有海量信息生成、共享和更新，而目前通用搜索引擎更新的時間相對較久，不能滿足人們日益增長的個性化服務的需要，主題搜索技術的出現將很好地解決這一問題。
　　本文對通用搜索引擎的出現、發(fā)展以及搜索引擎的基本知識、技術進行了研究，并系統(tǒng)的分析了搜索引擎的系統(tǒng)結構、關鍵技術；在此基礎上對通用搜索引擎與主題搜索引擎的關鍵技術進行了重

2、點研究、對比，并對主題搜索引擎中的關鍵技術進行了剖析。
　　在上述研究的基礎上，本文在Nutch開源軟件的基礎上設計實現了垂直搜索引擎的各個模塊，主要就主題判定、網頁去重、中文分詞等模塊進行了算法的設計與改進，使得垂直搜索引擎的準確率、召回率和效率都遠遠高于通用搜索引擎。主要工作包括:
　　1)就目前比較成熟的網絡爬蟲策略算法的PageRank、HITS、Partial PageRank進行了研究，針對現存的問題提出了新的爬

3、取策略IPR(Improved PageRank)算法，可以實現主題信息的重點提取與保存。
　　2)各式各樣的網站層出不窮，相同的內容可能被幾個網站同時報道、登錄，這將造成網頁的重復爬取與存取，所以網頁的去重是本文研究的重點之一，主要就網頁信息的提取、網頁相似度的對比判定進行了研究改進，降低存儲網頁的重復率。
　　3)中文分詞是中文搜索引擎的關鍵技術之一，好的中文分詞是搜索引擎高召回率、高效率的保障，本文在最大匹配算法的基礎