基于Lucene的商品垂直搜索引擎研究與實現(xiàn).pdf

1、隨著網(wǎng)絡信息資源的急劇增長，人們越來越多地關注如何快速有效地從海量的網(wǎng)絡信息中，抽取出潛在的、有價值的信息，使之有效地在管理和決策中發(fā)揮作用。垂直搜索引擎具有專、精、深的特點,可通過面向某一特定的領域、人群或需求僅搜索網(wǎng)絡中的特定主題信息,并且聚合信息、處理索引,提供有價值的相關服務和信息,從而提高用戶檢索時的準確率。
　　現(xiàn)在網(wǎng)絡上進行商品交易的活動越來越多，在這里將針對這種應用來設計商品搜索引擎，以方便用戶能夠在短時間內找到自

2、己需要的商品，并及時購買，那么這就涉及到了商品垂直搜索引擎的實現(xiàn)。
　　本文提出了電子商務系統(tǒng)中的一個商品垂直搜索引擎。首先用 python寫爬蟲從現(xiàn)有的B2C網(wǎng)站京東、天貓上抓取商品數(shù)據(jù)，也可以自己手動地添加商品數(shù)據(jù)到數(shù)據(jù)庫，這里專門開發(fā)了后臺數(shù)據(jù)添加模塊。接著探討了基于MD5數(shù)字簽名的數(shù)據(jù)消重算法，經過試驗在查準率、查全率和響應時間上都滿足實際需求。然后借鑒關聯(lián)規(guī)則理論對中文詞語進行定義，在此基礎上構建Autoword自動構詞

3、算法，該算法可以從大量中文語料庫中動態(tài)地構造詞表，并以此為基礎進行中文文本挖掘工作。針對電子商務系統(tǒng)中商品結構化信息的特點，結合現(xiàn)有的TF-IDF算法提出了一種改進的排序算法，并在該系統(tǒng)中應用了全文檢索和數(shù)據(jù)庫查詢兩種技術。全文檢索技術和數(shù)據(jù)庫的結合既支持了相關度排序,提高了檢索速度,又能靈活查詢和使用商品的結構化信息和實時信息，并通過結果展示以及與其他電子商務網(wǎng)站的橫向比較驗證了該算法的優(yōu)越性?，F(xiàn)有的搜索引擎大都采用了輸入—輸出的響應

4、模式，該模式沒有考慮用戶反饋，本文提出了基于用戶交互的自適應算法,探討了智能排序，從而利用用戶數(shù)據(jù)對排序結果作優(yōu)化。最后，本文完成了系統(tǒng)的總體框架搭建及實現(xiàn)。本人在學位論文中所做的主要工作如下：
　　1、爬蟲與數(shù)據(jù)消重模塊設計與實現(xiàn)
　　在本系統(tǒng)中的數(shù)據(jù)源為兩部分，一部分是用python腳本寫的爬蟲程序從起始URL開始，以廣度優(yōu)先算法從現(xiàn)有的B2C網(wǎng)站京東、天貓上爬取到的數(shù)據(jù)，還有就是自己手動添加到數(shù)據(jù)庫里的數(shù)據(jù)，這里專門開

5、發(fā)了后臺數(shù)據(jù)添加模塊。
　　優(yōu)秀的垂直搜索引擎需要一個高質量的數(shù)據(jù)來源，高質量的搜索結果必然依賴于高質量的數(shù)據(jù)，為了避免得到重復、相似或者信息不完整的搜索結果，數(shù)據(jù)分析和掌握了Lucene主要架構和各個部件,搭建了完整的開發(fā)環(huán)境，詳細地研究其中的索引模塊和檢索模塊實現(xiàn)機制和原理,通過對搜索引擎以及結合Lucene自身的特定制定本次設計需要實現(xiàn)的功能，開發(fā)了一個基于Lucene的商品垂直搜索引擎。它具有一下特點：（1）能夠接受pyt

6、hon爬蟲爬取的數(shù)據(jù)，也有自己的后臺數(shù)據(jù)手動添加模塊；（2）支持分詞查詢；（3）運用Lucene工具包編程實現(xiàn)了網(wǎng)頁內容索引；（4）運用Ajax技術實現(xiàn)搜索服務的網(wǎng)頁交互,生成動態(tài)網(wǎng)頁,返回用戶搜索結果；（5）運用Spring框架實現(xiàn)系統(tǒng)的后臺管理，運用JSP技術實現(xiàn)系統(tǒng)的前臺開發(fā)；（6）支持全文搜索；（7）能夠高亮顯示搜索關鍵字；（8）顯示查詢所用的時間；（9）顯示搜索歷史、過濾關鍵字；（10）能夠清除查詢歷史。
　　其中分詞、