面向糖業(yè)的專業(yè)搜索引擎研究與設計.pdf

1、分類號密級UDC編號桂林電子科技大學碩士學位論文題目:面向糖業(yè)的專業(yè)搜索引擎研究與設計(英文)ResearchDesignofSugarientedProfessionalSearchEngine研究生姓名：張賢指導教師姓名、職務：周婭教授申請學科門類：工學碩士學科、專業(yè)：計算機應用技術提交論文日期：2009年4月1日論文答辯時間：2009年6月11日2009年6月11日摘要摘要隨著Inter技術的飛速發(fā)展，互聯網絡上的信息量正以幾何級

2、數的速度飛速增長，怎樣在這浩如煙海的網絡信息中找到用戶需要的信息已經成為Inter上一個非常重要的研究課題。Google、Baidu等通用型搜索引擎系統在檢索專業(yè)內容時，用戶往往找不到他們真正需要的內容。本文旨在研究開發(fā)面向某一行業(yè)的搜索引擎以滿足特定領域信息檢索的需求。本課題是在與廣西東糖集團合作研究開發(fā)的“甲糖煮糖自動控制系統”的基礎上展開的深入研究，在Java的全文索引引擎工具包Lucene基礎上，通過對Lucene設計原理進行分

3、析，設計開發(fā)了一個面向糖業(yè)的專業(yè)搜索引擎。提出面向糖業(yè)的專業(yè)搜索引擎的研究思路，對開源項目Lucene的實現機制及自帶的中文分詞算法和網頁排序算法進行了深入研究，通過分析Lucene的系統結構、數據流和索引文件格式，指出Lucene的中文分詞器功能太弱、網頁排序算法性能不高等缺點，對Lucene的中文分詞技術和網頁排序算法進行擴展與優(yōu)化，順利地開發(fā)運用到面向糖業(yè)的專業(yè)搜索引擎中。在對Lucene的擴展方面，主要作了以下兩方面的研究工作：

4、(1)中文分詞算法的重新設計。為進一步提高分詞的切分速度，充分發(fā)揮現代計算機內存空間大的優(yōu)勢，重新設計了分詞詞典結構，并在該分詞詞典結構上設計實現多次Hash中文分詞算法，使其不但結構支持首字Hash查找，而且還支持對剩余詞進行Hash查找。通過理論分析得出該算法時間復雜度比同類算法的時間復雜度相對要低，并且在系統實現運行中可發(fā)現該算法有較好的分詞效果。(2)基于Lucene的網頁排序算法進行改進。融合當前幾種著名的算法思想，將關鍵詞與

5、文檔的關系、用戶行為、鏈接關系、網頁響應時間和刷新頻率作為影響網頁排序順序的因素考慮進來，并分別賦予不同的權值一并進行計算。經過實驗分析表明，改進后的Lucene網頁排序算法搜索到的結果能更好地滿足用戶的需求，排序效果有明顯改進。本文還詳細介紹了面向糖業(yè)的專業(yè)搜索引擎的具體實現過程，對系統的Web信息抓取、文本預處理、中文分詞、信息索引、信息檢索等各功能模塊進行詳細介紹。在系統設計實現的過程中，將所設計的多次Hash中文分詞算法運用在中