基于Lucene的全文搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的普及以及數(shù)字信息的爆炸式增長(zhǎng)，人們通過(guò)互聯(lián)網(wǎng)，足不出戶便可以獲取海量的信息。同時(shí)，隨著經(jīng)濟(jì)的發(fā)展，企業(yè)日益全球化，使得企業(yè)之間的競(jìng)爭(zhēng)越來(lái)越激烈。在信息技術(shù)飛速發(fā)展的時(shí)代，如何能夠快速、準(zhǔn)確、全面地找到企業(yè)系統(tǒng)內(nèi)部的信息數(shù)據(jù)，并加以利用，對(duì)企業(yè)的發(fā)展有著重要作用。Google、Baidu、Yahoo等大型商用搜索引擎目前已經(jīng)能夠?qū)崿F(xiàn)企業(yè)內(nèi)部數(shù)據(jù)檢索功能，但是由于企業(yè)搜索的特殊性，使得商業(yè)化以及大眾化的搜索引擎不適合企業(yè)內(nèi)部敏感數(shù)

2、據(jù)的搜索。因此，如何利用現(xiàn)有搜索引擎技術(shù)，搭建適合企業(yè)內(nèi)部使用的搜索引擎，成為當(dāng)前重要的研究課題。
　　針對(duì)企業(yè)需要高質(zhì)量地檢索內(nèi)部數(shù)據(jù)的需求，本課題從企業(yè)搜索引擎的必要性以及可行性進(jìn)行分析，最終確定以Lucene架構(gòu)為核心，充分利用其開(kāi)源、輕巧、高效的特點(diǎn)，綜合運(yùn)用其它諸如文本提取、數(shù)據(jù)庫(kù)等技術(shù)做二次開(kāi)發(fā)，構(gòu)建滿足企業(yè)內(nèi)部數(shù)據(jù)檢索需要的搜索引擎。
　　基于 Lucene的企業(yè)搜索引擎己經(jīng)成為搜索引擎和企業(yè)信息數(shù)據(jù)挖掘研究中

3、的熱點(diǎn)和重點(diǎn)，本文的研究?jī)?nèi)容主要如下：
　　第一，分析企業(yè)搜索引擎的研究現(xiàn)狀和趨勢(shì)，學(xué)習(xí)搜索引擎的基本原理，并深入研究Lucene的架構(gòu)、分詞方法和索引技術(shù)。
　　第二，研究了文檔相關(guān)度策略，并通過(guò)改進(jìn)Lucene索引結(jié)構(gòu)減少尋址次數(shù)。針對(duì)Lucene內(nèi)部的索引文檔占用大量存儲(chǔ)空間這一問(wèn)題，深入研究索引壓縮算法，并提出改進(jìn)的PForDelta算法。
　　第三，對(duì)于常見(jiàn)的格式文檔類型，本文對(duì)非結(jié)構(gòu)化的Word文件、PDF