面向糖業(yè)的專業(yè)搜索引擎研究與設(shè)計.pdf

1、分類號密級UDC編號桂林電子科技大學碩士學位論文題目:面向糖業(yè)的專業(yè)搜索引擎研究與設(shè)計(英文)ResearchDesignofSugarientedProfessionalSearchEngine研究生姓名：張賢指導(dǎo)教師姓名、職務(wù)：周婭教授申請學科門類：工學碩士學科、專業(yè)：計算機應(yīng)用技術(shù)提交論文日期：2009年4月1日論文答辯時間：2009年6月11日2009年6月11日摘要摘要隨著Inter技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)絡(luò)上的信息量正以幾何級

2、數(shù)的速度飛速增長，怎樣在這浩如煙海的網(wǎng)絡(luò)信息中找到用戶需要的信息已經(jīng)成為Inter上一個非常重要的研究課題。Google、Baidu等通用型搜索引擎系統(tǒng)在檢索專業(yè)內(nèi)容時，用戶往往找不到他們真正需要的內(nèi)容。本文旨在研究開發(fā)面向某一行業(yè)的搜索引擎以滿足特定領(lǐng)域信息檢索的需求。本課題是在與廣西東糖集團合作研究開發(fā)的“甲糖煮糖自動控制系統(tǒng)”的基礎(chǔ)上展開的深入研究，在Java的全文索引引擎工具包Lucene基礎(chǔ)上，通過對Lucene設(shè)計原理進行分

3、析，設(shè)計開發(fā)了一個面向糖業(yè)的專業(yè)搜索引擎。提出面向糖業(yè)的專業(yè)搜索引擎的研究思路，對開源項目Lucene的實現(xiàn)機制及自帶的中文分詞算法和網(wǎng)頁排序算法進行了深入研究，通過分析Lucene的系統(tǒng)結(jié)構(gòu)、數(shù)據(jù)流和索引文件格式，指出Lucene的中文分詞器功能太弱、網(wǎng)頁排序算法性能不高等缺點，對Lucene的中文分詞技術(shù)和網(wǎng)頁排序算法進行擴展與優(yōu)化，順利地開發(fā)運用到面向糖業(yè)的專業(yè)搜索引擎中。在對Lucene的擴展方面，主要作了以下兩方面的研究工作：

4、(1)中文分詞算法的重新設(shè)計。為進一步提高分詞的切分速度，充分發(fā)揮現(xiàn)代計算機內(nèi)存空間大的優(yōu)勢，重新設(shè)計了分詞詞典結(jié)構(gòu)，并在該分詞詞典結(jié)構(gòu)上設(shè)計實現(xiàn)多次Hash中文分詞算法，使其不但結(jié)構(gòu)支持首字Hash查找，而且還支持對剩余詞進行Hash查找。通過理論分析得出該算法時間復(fù)雜度比同類算法的時間復(fù)雜度相對要低，并且在系統(tǒng)實現(xiàn)運行中可發(fā)現(xiàn)該算法有較好的分詞效果。(2)基于Lucene的網(wǎng)頁排序算法進行改進。融合當前幾種著名的算法思想，將關(guān)鍵詞與

5、文檔的關(guān)系、用戶行為、鏈接關(guān)系、網(wǎng)頁響應(yīng)時間和刷新頻率作為影響網(wǎng)頁排序順序的因素考慮進來，并分別賦予不同的權(quán)值一并進行計算。經(jīng)過實驗分析表明，改進后的Lucene網(wǎng)頁排序算法搜索到的結(jié)果能更好地滿足用戶的需求，排序效果有明顯改進。本文還詳細介紹了面向糖業(yè)的專業(yè)搜索引擎的具體實現(xiàn)過程，對系統(tǒng)的Web信息抓取、文本預(yù)處理、中文分詞、信息索引、信息檢索等各功能模塊進行詳細介紹。在系統(tǒng)設(shè)計實現(xiàn)的過程中，將所設(shè)計的多次Hash中文分詞算法運用在中