垂直搜索引擎在煙草行業(yè)的研究與應用.pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展一方面給我們提供了極其豐富的信息，另一方面也加大了信息過濾的難度?；ヂ?lián)網(wǎng)用戶越來越依賴于搜索引擎來縮小信息檢索的范圍，從而更高效地獲取自己感興趣的內容。但是，用戶的期望結果是小而精，通用搜索引擎追求的目標是大而全，與用戶的特定需求南轅北轍。在這種背景下，垂直搜索引擎應運而生。如果把互聯(lián)網(wǎng)當作一個服務提供者，則其成熟的一條重要標志就是由通用化向訂制化發(fā)展，垂直搜索引擎的出現(xiàn)即是這種轉換的具體表現(xiàn)，也是搜索引擎未來的發(fā)展方向

2、。
　　首先，本文結合互聯(lián)網(wǎng)的發(fā)展史，綜述了垂直搜索引擎的出現(xiàn)背景及意義。以煙草行業(yè)為例，深入分析了企業(yè)日益增長的信息檢索需求與通用搜索引擎固有局限性之間的矛盾，論證了垂直搜索引擎應用于企業(yè)的必要性與可行性。然后結合筆者在煙草企業(yè)的實習經歷，設計并實現(xiàn)了一種針對煙草行業(yè)的垂直搜索引擎。在對垂直搜索引擎的整體架構和關鍵技術充分研究的基礎上，提出了一種“三度過濾”的主題判別方法，并提高了PageRank算法在實際應用中的適應性。然后對

3、開源項目Lucene進行了本地化改造，最終開發(fā)出一款適用于煙草行業(yè)的垂直搜索引擎。
　　本文主要研究內容如下：
　?。?）在研習搜索引擎典型架構的基礎上，詳細闡述了中文分詞、倒排索引和鏈接分析三項關鍵技術的實現(xiàn)原理。通過橫向對比總結出了各種搜索模型的優(yōu)缺點，以布爾模型實現(xiàn)基礎的文本篩選，以空間向量模型實現(xiàn)高級的匹配運算，從而建立起符合煙草行業(yè)特點的搜索模型，兼具簡單易行和支持相關性評分兩方面優(yōu)勢。
　?。?）編程模擬了

4、PageRank算法的迭代過程，對出鏈-入鏈矩陣中的黑洞問題和PageRank向量的數(shù)據(jù)失衡問題進行了深入的分析。黑洞問題會造成部分網(wǎng)頁壟斷PageRank得分，使評分結果有失客觀性與科學性；而數(shù)據(jù)失衡問題會造成迭代過程的收斂速度過慢，無法應用于大規(guī)模的計算。本文通過引入馬爾科夫鏈理論對模型加入兩次隨機性調整，使之更符合上網(wǎng)者隨機瀏覽網(wǎng)頁的過程，從根本上杜絕了黑洞問題的產生并加快了PageRank的收斂速度。
　?。?）提出了一種

5、“三度過濾”的主題判別方法。借助煙草行業(yè)的專業(yè)詞庫，在主題判別的過程中將預判因子、元信息因子、詞庫因子納入主題相關度的計算，有效過濾了與主題無關的網(wǎng)頁，大大提高了搜索引擎的查準率。另一方面，該算法得出的預判因子還用于調整URL隊列的優(yōu)先級，幫助主題爬蟲優(yōu)先抓取主題相關度更高的網(wǎng)頁。
　?。?）通過對Lucene源代碼的本地化改造，實現(xiàn)了開源項目與系統(tǒng)開發(fā)的兼容性整合。結合原始的空間向量模型，對影響網(wǎng)頁歡迎度與主題相關度的各項因子進