基于Web文本信息的智能檢索系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的發(fā)展和網(wǎng)絡應用的日益廣泛，Internet已經(jīng)成為了人們獲取信息資源和進行信息交流的一個重要途徑，與此同時，Web信息也日益增長。如何從海量的互聯(lián)網(wǎng)信息中找到自己所需要的信息，成為了互聯(lián)網(wǎng)發(fā)展的一大難題。雖然傳統(tǒng)搜索引擎的出現(xiàn)極大地提高了網(wǎng)絡信息的檢索速度，在一定程度上解決了這個問題，但還是無法滿足人們想要準確獲取信息的需求。因而對搜索引擎智能化的技術研究有著重要的現(xiàn)實意義。
　　本文通過研究搜索引擎的技術框架和智

2、能信息檢索的主要技術方案，針對傳統(tǒng)搜索引擎存在的不足，利用開源軟件Lucene和Nutch，設計和實現(xiàn)了基于Web的文本信息的智能檢索系統(tǒng)。本論文所做的主要工作如下：
　?。?）在對信息檢索的模型理論和搜索引擎的綜合技術充分了解的基礎上，針對傳統(tǒng)搜索引擎存在的不足，詳細分析了自然語言理解技術、基于Agent的智能信息檢索、基于本體的智能信息檢索和網(wǎng)頁相關性研究，并對PageRank和HIT算法進行優(yōu)劣對比，優(yōu)化PageRank算法

3、。
　?。?）基于Lucene和Nutch搜索引擎智能化的實現(xiàn)。Lucene是Nutch內核的重要組成部分，從對Nutch的實現(xiàn)效果來看，Nutch的工作原理和當前商業(yè)搜索引擎的工作原理是一樣的，也包含了其他技術要點，包括網(wǎng)頁快照、網(wǎng)頁詳細信息等。利用語義分析和智能Agent的相關知識，從本地文檔和數(shù)據(jù)庫建立索引，建立計算機所能理解的“知識”，從而使信息檢索更加智能化。
　?。?）實驗改進。Nutch原型的Crawl部分還有