搜索引擎智能化技術的研究與實現.pdf

1、當今時代已是信息的時代。隨著Internet的普及應用，它已經成為人類的信息寶庫。如何借助搜索引擎來幫助人們方便、高效地利用信息已成為當前IT業(yè)的研究熱點之一。由于現今搜索引擎的智尚不夠，人們從網絡上方便高效地獲取所需信息還有一定的困因此，對搜索引擎智能化技術進行研究與實現是一個極具現實意義的熱點課題。搜索引擎一般包括信息采集、信息加工、信息檢索和信息檢索結果提供等幾個部分，其中的每一部分均有很多工作要做，且大多涉及到智能技術。本文在搜

2、索引擎智能化技術方面進行了探索，并就如下幾個關鍵問題進行了創(chuàng)新和深入研究： 第一，為提高信息采集的質量，本文研究并實現了對內容雷同網頁的去重處理。為了擴大信息覆蓋面，搜索引擎應盡量全面地采集信息。但統(tǒng)計表明，Internet上有較多的冗余，因此，對網頁的去重處理很有必要。在課題組原有的根據網頁標題進行去重的基礎上，結合主題概念自動抽取技術，本文通過對網頁URL和網頁間主題概念重合度的計算與分析，實現了對內容雷同網頁的去重及聚類處

3、理。 第二，研究并實現了對網頁的動態(tài)采集。為了能夠及時采集到有關的網頁信息，搜索引擎應能根據網站及其更新速度，動態(tài)地調整其采集信息的頻度。本文分析了搜索引擎如何有效地完成對網頁的采集，并根據網站的相關性調節(jié)該過程，使得信息采集與更新時的針對性更強。 第三，把面向自然語言提問的理解與檢索的研發(fā)工作又推進了一步。自然語言是人們表示需求最自然和最方便的工具，所以提供支持自然語言的智能檢索接口不僅能使人機交互更具人性化，還能促進

4、搜索引擎的應用普及。早幾年，原課題組就已實現了中文自然語言檢索，但原有的句模解析算法雖已能從提問句中提取出反映用戶檢索需求的核心檢索項，卻未能處理其中包含有復雜邏輯關系的提問。在課題組原有句模解析相關算法的基礎上，本文通過定義產生式規(guī)則和使用規(guī)約算法，已能對大多數常見自然語言提問句中蘊含的概念間的邏輯關系進行初步識別及有效處理，提高了系統(tǒng)的智能性和實用性。 第四，在檢索結果提供方面，用相關概念進行提問反饋，并對檢索結果進行排序。

5、通常，檢索結果對用戶使用的查詢項依賴性較強。如果查詢項選擇不當，則檢索結果往往不太理想，但要求用戶每次都能準確、全面地表達出其檢索需求往往也是較為困難的。為了擴大相關信息的覆蓋面，本文參照多數用戶在檢索類似問題時的經驗，提出一種相關概念反饋方法。它既考慮到用戶本身的檢索需求，又考慮到大多數用戶的興趣，豐富了檢索內容。另外，將檢索結果按照其和用戶提問的相關性排序輸出，一般來說能更好地滿足用戶的檢索需求。 第五，基于用戶的瀏覽歷史，