搜索引擎關(guān)鍵技術(shù)研究及性能優(yōu)化—基于Lucene的全文檢索技術(shù)的研究與應(yīng)用.pdf

1、全文索引和檢索是一種非常高效的信息檢索技術(shù)，它極大地提高了從大量紛繁復(fù)雜的數(shù)據(jù)中查找特定信息的效率。作為開(kāi)源組織ApacheJakarta的成員項(xiàng)目，Lucene是一個(gè)成熟、自由、開(kāi)源的軟件項(xiàng)目，是一個(gè)高性能的、可擴(kuò)展的信息檢索工具庫(kù)，可以方便快捷地融入到應(yīng)用程序中以增加索引和搜索功能。 目前，Lucene的核心包和擴(kuò)展包對(duì)中文分詞采取類似英文的機(jī)械式切分方法。但是，由于中英文之間在形式上存在著巨大的差異，這種切分方法的分詞效果

2、是非常粗糙和低效的。在對(duì)包括中文分詞技術(shù)在內(nèi)的全文檢索技術(shù)進(jìn)行分析和研究的基礎(chǔ)上，本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于詞典的、采用正向最大匹配算法的中文分詞模塊。測(cè)試結(jié)果表明，與Lucene內(nèi)核包采用的單漢字切分方法和其擴(kuò)展包針對(duì)中日韓等亞洲語(yǔ)言采用的二元切分方法以及傳統(tǒng)的基于詞典的中文分詞方法相比，該模塊具有效果更好、性能更優(yōu)的比較優(yōu)勢(shì)。 此外，信息檢索的實(shí)踐表明，由于自然語(yǔ)言中存在著大量的同義詞、近義詞，用戶在檢索的時(shí)候很難全部列舉出表示

3、同一概念的不同詞匯表達(dá)形式，因而易造成漏檢。本文實(shí)現(xiàn)了一種同義詞檢索的解決方案，提高了查全率。Lucene使用了倒排索引結(jié)構(gòu)，查找效率高，節(jié)省空間。被索引的詞條除文本值外，還有其所在的文檔號(hào)，出現(xiàn)位置和出現(xiàn)頻率等信息，在寫入索引的過(guò)程中通過(guò)人為干預(yù)，將原詞條的同義詞插入語(yǔ)匯單元流的適當(dāng)位置，并設(shè)置其位置信息，索引后的同義詞在文檔中的位置和原詞條一致，可以達(dá)到檢索包含輸入詞的同義詞的記錄的效果。本文在設(shè)計(jì)詞典時(shí)加入了同義詞的存儲(chǔ)結(jié)構(gòu)，事實(shí)