基于Lucene的分布式數(shù)據(jù)搜索.pdf

1、隨著信息和互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)所產(chǎn)生的信息正在激增，大量的數(shù)據(jù)對我們精確的查找所需信息造成很大困難，搜索引擎在這種情況下應(yīng)運(yùn)而生，它增強(qiáng)了對信息的準(zhǔn)確定位，讓我們能更輕易的找到我們想要的信息。而過多的數(shù)據(jù)在存儲上造成了很大困難，一臺計(jì)算機(jī)的內(nèi)存是有限的，這時(shí)候需要更多的計(jì)算機(jī)來存儲所產(chǎn)生的海量數(shù)據(jù)，這就是信息的分布式存儲。將信息存儲到分布式系統(tǒng)中，單一的集中式搜索引擎要對分布式系統(tǒng)中的內(nèi)容進(jìn)行檢索無疑是困難的，而且檢索效率也極低，要解決

2、這個(gè)困難可以將搜索引擎也分布式，使我們所有分布式中的每個(gè)計(jì)算機(jī)都擁有一個(gè)單一的集中式搜索引擎，這樣就可以讓分布式中的所有節(jié)點(diǎn)并行檢索所需要的數(shù)據(jù)，然后再將結(jié)果匯總。這樣不但提高了效率，而且管理也更為方便。
　　本論文基于Lucene開源工具包實(shí)現(xiàn)了一個(gè)用于分布式數(shù)據(jù)全文檢索的搜索引擎，在局域網(wǎng)內(nèi)實(shí)現(xiàn)了文檔的分布式索引建立和數(shù)據(jù)檢索，完成了結(jié)構(gòu)化文檔和各類型文檔的解析以及對計(jì)算機(jī)文檔的監(jiān)控，并在此基礎(chǔ)上進(jìn)行文檔索引的實(shí)時(shí)更新。

3、>　　本論文中實(shí)現(xiàn)的功能如下：
　　1、實(shí)現(xiàn)分布式系統(tǒng)中所有存儲節(jié)點(diǎn)的遍歷，對電腦中的各類型文檔格式進(jìn)行解析并在本地建立索引；
　　2、實(shí)現(xiàn)對分布式局域網(wǎng)內(nèi)所有存儲節(jié)點(diǎn)的文檔監(jiān)控，一旦系統(tǒng)中有文檔改動(dòng)，計(jì)算機(jī)自動(dòng)更新索引，保證索引的正確性，實(shí)現(xiàn)實(shí)時(shí)檢索；
　　3、實(shí)現(xiàn)對數(shù)據(jù)的分域檢索，能對不同區(qū)域的字段分別進(jìn)行檢索；
　　4、實(shí)現(xiàn)局域網(wǎng)客戶端內(nèi)索引的分布式存儲和分布式并行檢索。
　　在本系統(tǒng)的兩類節(jié)點(diǎn)中，客