搜索引擎智能化技術(shù)的研究與實(shí)現(xiàn).pdf

1、當(dāng)今時(shí)代已是信息的時(shí)代。隨著Internet的普及應(yīng)用，它已經(jīng)成為人類的信息寶庫。如何借助搜索引擎來幫助人們方便、高效地利用信息已成為當(dāng)前IT業(yè)的研究熱點(diǎn)之一。由于現(xiàn)今搜索引擎的智尚不夠，人們從網(wǎng)絡(luò)上方便高效地獲取所需信息還有一定的困因此，對(duì)搜索引擎智能化技術(shù)進(jìn)行研究與實(shí)現(xiàn)是一個(gè)極具現(xiàn)實(shí)意義的熱點(diǎn)課題。搜索引擎一般包括信息采集、信息加工、信息檢索和信息檢索結(jié)果提供等幾個(gè)部分，其中的每一部分均有很多工作要做，且大多涉及到智能技術(shù)。本文在搜

2、索引擎智能化技術(shù)方面進(jìn)行了探索，并就如下幾個(gè)關(guān)鍵問題進(jìn)行了創(chuàng)新和深入研究： 第一，為提高信息采集的質(zhì)量，本文研究并實(shí)現(xiàn)了對(duì)內(nèi)容雷同網(wǎng)頁的去重處理。為了擴(kuò)大信息覆蓋面，搜索引擎應(yīng)盡量全面地采集信息。但統(tǒng)計(jì)表明，Internet上有較多的冗余，因此，對(duì)網(wǎng)頁的去重處理很有必要。在課題組原有的根據(jù)網(wǎng)頁標(biāo)題進(jìn)行去重的基礎(chǔ)上，結(jié)合主題概念自動(dòng)抽取技術(shù)，本文通過對(duì)網(wǎng)頁URL和網(wǎng)頁間主題概念重合度的計(jì)算與分析，實(shí)現(xiàn)了對(duì)內(nèi)容雷同網(wǎng)頁的去重及聚類處

3、理。 第二，研究并實(shí)現(xiàn)了對(duì)網(wǎng)頁的動(dòng)態(tài)采集。為了能夠及時(shí)采集到有關(guān)的網(wǎng)頁信息，搜索引擎應(yīng)能根據(jù)網(wǎng)站及其更新速度，動(dòng)態(tài)地調(diào)整其采集信息的頻度。本文分析了搜索引擎如何有效地完成對(duì)網(wǎng)頁的采集，并根據(jù)網(wǎng)站的相關(guān)性調(diào)節(jié)該過程，使得信息采集與更新時(shí)的針對(duì)性更強(qiáng)。 第三，把面向自然語言提問的理解與檢索的研發(fā)工作又推進(jìn)了一步。自然語言是人們表示需求最自然和最方便的工具，所以提供支持自然語言的智能檢索接口不僅能使人機(jī)交互更具人性化，還能促進(jìn)

4、搜索引擎的應(yīng)用普及。早幾年，原課題組就已實(shí)現(xiàn)了中文自然語言檢索，但原有的句模解析算法雖已能從提問句中提取出反映用戶檢索需求的核心檢索項(xiàng)，卻未能處理其中包含有復(fù)雜邏輯關(guān)系的提問。在課題組原有句模解析相關(guān)算法的基礎(chǔ)上，本文通過定義產(chǎn)生式規(guī)則和使用規(guī)約算法，已能對(duì)大多數(shù)常見自然語言提問句中蘊(yùn)含的概念間的邏輯關(guān)系進(jìn)行初步識(shí)別及有效處理，提高了系統(tǒng)的智能性和實(shí)用性。 第四，在檢索結(jié)果提供方面，用相關(guān)概念進(jìn)行提問反饋，并對(duì)檢索結(jié)果進(jìn)行排序。

5、通常，檢索結(jié)果對(duì)用戶使用的查詢項(xiàng)依賴性較強(qiáng)。如果查詢項(xiàng)選擇不當(dāng)，則檢索結(jié)果往往不太理想，但要求用戶每次都能準(zhǔn)確、全面地表達(dá)出其檢索需求往往也是較為困難的。為了擴(kuò)大相關(guān)信息的覆蓋面，本文參照多數(shù)用戶在檢索類似問題時(shí)的經(jīng)驗(yàn)，提出一種相關(guān)概念反饋方法。它既考慮到用戶本身的檢索需求，又考慮到大多數(shù)用戶的興趣，豐富了檢索內(nèi)容。另外，將檢索結(jié)果按照其和用戶提問的相關(guān)性排序輸出，一般來說能更好地滿足用戶的檢索需求。 第五，基于用戶的瀏覽歷史，