基于Lucene的全文搜索引擎的研究與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的普及以及數(shù)字信息的爆炸式增長，人們通過互聯(lián)網(wǎng)，足不出戶便可以獲取海量的信息。同時，隨著經(jīng)濟(jì)的發(fā)展，企業(yè)日益全球化，使得企業(yè)之間的競爭越來越激烈。在信息技術(shù)飛速發(fā)展的時代，如何能夠快速、準(zhǔn)確、全面地找到企業(yè)系統(tǒng)內(nèi)部的信息數(shù)據(jù)，并加以利用，對企業(yè)的發(fā)展有著重要作用。Google、Baidu、Yahoo等大型商用搜索引擎目前已經(jīng)能夠?qū)崿F(xiàn)企業(yè)內(nèi)部數(shù)據(jù)檢索功能，但是由于企業(yè)搜索的特殊性，使得商業(yè)化以及大眾化的搜索引擎不適合企業(yè)內(nèi)部敏感數(shù)

2、據(jù)的搜索。因此，如何利用現(xiàn)有搜索引擎技術(shù)，搭建適合企業(yè)內(nèi)部使用的搜索引擎，成為當(dāng)前重要的研究課題。
　　針對企業(yè)需要高質(zhì)量地檢索內(nèi)部數(shù)據(jù)的需求，本課題從企業(yè)搜索引擎的必要性以及可行性進(jìn)行分析，最終確定以Lucene架構(gòu)為核心，充分利用其開源、輕巧、高效的特點，綜合運(yùn)用其它諸如文本提取、數(shù)據(jù)庫等技術(shù)做二次開發(fā)，構(gòu)建滿足企業(yè)內(nèi)部數(shù)據(jù)檢索需要的搜索引擎。
　　基于 Lucene的企業(yè)搜索引擎己經(jīng)成為搜索引擎和企業(yè)信息數(shù)據(jù)挖掘研究中

3、的熱點和重點，本文的研究內(nèi)容主要如下：
　　第一，分析企業(yè)搜索引擎的研究現(xiàn)狀和趨勢，學(xué)習(xí)搜索引擎的基本原理，并深入研究Lucene的架構(gòu)、分詞方法和索引技術(shù)。
　　第二，研究了文檔相關(guān)度策略，并通過改進(jìn)Lucene索引結(jié)構(gòu)減少尋址次數(shù)。針對Lucene內(nèi)部的索引文檔占用大量存儲空間這一問題，深入研究索引壓縮算法，并提出改進(jìn)的PForDelta算法。
　　第三，對于常見的格式文檔類型，本文對非結(jié)構(gòu)化的Word文件、PDF