基于Lucene的分布式數(shù)據(jù)搜索.pdf

1、隨著信息和互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)所產(chǎn)生的信息正在激增，大量的數(shù)據(jù)對我們精確的查找所需信息造成很大困難，搜索引擎在這種情況下應(yīng)運而生，它增強了對信息的準確定位，讓我們能更輕易的找到我們想要的信息。而過多的數(shù)據(jù)在存儲上造成了很大困難，一臺計算機的內(nèi)存是有限的，這時候需要更多的計算機來存儲所產(chǎn)生的海量數(shù)據(jù)，這就是信息的分布式存儲。將信息存儲到分布式系統(tǒng)中，單一的集中式搜索引擎要對分布式系統(tǒng)中的內(nèi)容進行檢索無疑是困難的，而且檢索效率也極低，要解決

2、這個困難可以將搜索引擎也分布式，使我們所有分布式中的每個計算機都擁有一個單一的集中式搜索引擎，這樣就可以讓分布式中的所有節(jié)點并行檢索所需要的數(shù)據(jù)，然后再將結(jié)果匯總。這樣不但提高了效率，而且管理也更為方便。
　　本論文基于Lucene開源工具包實現(xiàn)了一個用于分布式數(shù)據(jù)全文檢索的搜索引擎，在局域網(wǎng)內(nèi)實現(xiàn)了文檔的分布式索引建立和數(shù)據(jù)檢索，完成了結(jié)構(gòu)化文檔和各類型文檔的解析以及對計算機文檔的監(jiān)控，并在此基礎(chǔ)上進行文檔索引的實時更新。

3、>　　本論文中實現(xiàn)的功能如下：
　　1、實現(xiàn)分布式系統(tǒng)中所有存儲節(jié)點的遍歷，對電腦中的各類型文檔格式進行解析并在本地建立索引；
　　2、實現(xiàn)對分布式局域網(wǎng)內(nèi)所有存儲節(jié)點的文檔監(jiān)控，一旦系統(tǒng)中有文檔改動，計算機自動更新索引，保證索引的正確性，實現(xiàn)實時檢索；
　　3、實現(xiàn)對數(shù)據(jù)的分域檢索，能對不同區(qū)域的字段分別進行檢索；
　　4、實現(xiàn)局域網(wǎng)客戶端內(nèi)索引的分布式存儲和分布式并行檢索。
　　在本系統(tǒng)的兩類節(jié)點中，客