主題搜索引擎中相關技術的研究與實現(xiàn).pdf

1、近幾年來，搜索引擎的出現(xiàn)從根本上改變了人類獲取信息的方式，為人類的生活、學習乃至工作都帶來了極大的便利。當人們越來越依賴將搜索引擎作為檢索信息的工具時，卻發(fā)現(xiàn)查詢結果往往不盡人意。搜索引擎的發(fā)展出現(xiàn)了瓶頸時期，如何能快速、精確的為用戶提供滿意的服務，是搜索引擎前進的目標。而面向主題的搜索引擎開始成為搜索引擎的新的發(fā)展方向。本文的重點是對主題搜索引擎中的相關技術進行研究，努力提高搜索質量。
　　 本文開篇先對搜索引擎的發(fā)展歷史、分

2、類和趨勢進行了簡單描述。然后分別對通用搜索引擎和主題搜索引擎的組織框架、工作流程做了詳細介紹，并指出了通用搜索引擎中存在的不足。接著，文章圍繞主題搜索引擎中的關鍵技術這一主線，對主題蜘蛛中的網頁采集技術、搜索策略，文本分類中的文本預處理技術、特征提取技術和文本分類技術進行了詳細研究。
　　 由于在主題蜘蛛中，在采集信息時要對文本的主題相關度進行判斷，其中也涉及文本分類的相關技術，因此文本分類技術是本文的研究重點。文本分類技術包括

3、：網頁凈化、中文分詞、特征提取和分類算法。本文重點研究了文本分類中的特征提取技術，在常用的特征提取方法的研究基礎上進行了改進，結合中文語法規(guī)范，提出了一種詞與詞組的綜合特征提取算法。改進后的算法考慮了語義之間的聯(lián)系，相對彌補了現(xiàn)有方法的不足，并用實驗驗證了該方法的可行性。
　　 通過對文本分類技術各方面的研究，本文設計實現(xiàn)出了一個完整的分類系統(tǒng)，并選用了中科院計算所研制出的漢語詞法分析系統(tǒng)——ICTCLAS分詞系統(tǒng)。首先通過對訓