垂直搜索引擎在煙草行業(yè)的研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展一方面給我們提供了極其豐富的信息，另一方面也加大了信息過濾的難度。互聯(lián)網(wǎng)用戶越來越依賴于搜索引擎來縮小信息檢索的范圍，從而更高效地獲取自己感興趣的內(nèi)容。但是，用戶的期望結(jié)果是小而精，通用搜索引擎追求的目標(biāo)是大而全，與用戶的特定需求南轅北轍。在這種背景下，垂直搜索引擎應(yīng)運(yùn)而生。如果把互聯(lián)網(wǎng)當(dāng)作一個(gè)服務(wù)提供者，則其成熟的一條重要標(biāo)志就是由通用化向訂制化發(fā)展，垂直搜索引擎的出現(xiàn)即是這種轉(zhuǎn)換的具體表現(xiàn)，也是搜索引擎未來的發(fā)展方向

2、。
　　首先，本文結(jié)合互聯(lián)網(wǎng)的發(fā)展史，綜述了垂直搜索引擎的出現(xiàn)背景及意義。以煙草行業(yè)為例，深入分析了企業(yè)日益增長的信息檢索需求與通用搜索引擎固有局限性之間的矛盾，論證了垂直搜索引擎應(yīng)用于企業(yè)的必要性與可行性。然后結(jié)合筆者在煙草企業(yè)的實(shí)習(xí)經(jīng)歷，設(shè)計(jì)并實(shí)現(xiàn)了一種針對煙草行業(yè)的垂直搜索引擎。在對垂直搜索引擎的整體架構(gòu)和關(guān)鍵技術(shù)充分研究的基礎(chǔ)上，提出了一種“三度過濾”的主題判別方法，并提高了PageRank算法在實(shí)際應(yīng)用中的適應(yīng)性。然后對

3、開源項(xiàng)目Lucene進(jìn)行了本地化改造，最終開發(fā)出一款適用于煙草行業(yè)的垂直搜索引擎。
　　本文主要研究內(nèi)容如下：
　　（1）在研習(xí)搜索引擎典型架構(gòu)的基礎(chǔ)上，詳細(xì)闡述了中文分詞、倒排索引和鏈接分析三項(xiàng)關(guān)鍵技術(shù)的實(shí)現(xiàn)原理。通過橫向?qū)Ρ瓤偨Y(jié)出了各種搜索模型的優(yōu)缺點(diǎn)，以布爾模型實(shí)現(xiàn)基礎(chǔ)的文本篩選，以空間向量模型實(shí)現(xiàn)高級(jí)的匹配運(yùn)算，從而建立起符合煙草行業(yè)特點(diǎn)的搜索模型，兼具簡單易行和支持相關(guān)性評分兩方面優(yōu)勢。
　　（2）編程模擬了

4、PageRank算法的迭代過程，對出鏈-入鏈矩陣中的黑洞問題和PageRank向量的數(shù)據(jù)失衡問題進(jìn)行了深入的分析。黑洞問題會(huì)造成部分網(wǎng)頁壟斷PageRank得分，使評分結(jié)果有失客觀性與科學(xué)性；而數(shù)據(jù)失衡問題會(huì)造成迭代過程的收斂速度過慢，無法應(yīng)用于大規(guī)模的計(jì)算。本文通過引入馬爾科夫鏈理論對模型加入兩次隨機(jī)性調(diào)整，使之更符合上網(wǎng)者隨機(jī)瀏覽網(wǎng)頁的過程，從根本上杜絕了黑洞問題的產(chǎn)生并加快了PageRank的收斂速度。
　?。?）提出了一種

5、“三度過濾”的主題判別方法。借助煙草行業(yè)的專業(yè)詞庫，在主題判別的過程中將預(yù)判因子、元信息因子、詞庫因子納入主題相關(guān)度的計(jì)算，有效過濾了與主題無關(guān)的網(wǎng)頁，大大提高了搜索引擎的查準(zhǔn)率。另一方面，該算法得出的預(yù)判因子還用于調(diào)整URL隊(duì)列的優(yōu)先級(jí)，幫助主題爬蟲優(yōu)先抓取主題相關(guān)度更高的網(wǎng)頁。
　?。?）通過對Lucene源代碼的本地化改造，實(shí)現(xiàn)了開源項(xiàng)目與系統(tǒng)開發(fā)的兼容性整合。結(jié)合原始的空間向量模型，對影響網(wǎng)頁歡迎度與主題相關(guān)度的各項(xiàng)因子進(jìn)