基于Lucene的分布式數(shù)據(jù)搜索.pdf

1、隨著信息和互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)所產(chǎn)生的信息正在激增，大量的數(shù)據(jù)對(duì)我們精確的查找所需信息造成很大困難，搜索引擎在這種情況下應(yīng)運(yùn)而生，它增強(qiáng)了對(duì)信息的準(zhǔn)確定位，讓我們能更輕易的找到我們想要的信息。而過(guò)多的數(shù)據(jù)在存儲(chǔ)上造成了很大困難，一臺(tái)計(jì)算機(jī)的內(nèi)存是有限的，這時(shí)候需要更多的計(jì)算機(jī)來(lái)存儲(chǔ)所產(chǎn)生的海量數(shù)據(jù)，這就是信息的分布式存儲(chǔ)。將信息存儲(chǔ)到分布式系統(tǒng)中，單一的集中式搜索引擎要對(duì)分布式系統(tǒng)中的內(nèi)容進(jìn)行檢索無(wú)疑是困難的，而且檢索效率也極低，要解決

2、這個(gè)困難可以將搜索引擎也分布式，使我們所有分布式中的每個(gè)計(jì)算機(jī)都擁有一個(gè)單一的集中式搜索引擎，這樣就可以讓分布式中的所有節(jié)點(diǎn)并行檢索所需要的數(shù)據(jù)，然后再將結(jié)果匯總。這樣不但提高了效率，而且管理也更為方便。
　　本論文基于Lucene開(kāi)源工具包實(shí)現(xiàn)了一個(gè)用于分布式數(shù)據(jù)全文檢索的搜索引擎，在局域網(wǎng)內(nèi)實(shí)現(xiàn)了文檔的分布式索引建立和數(shù)據(jù)檢索，完成了結(jié)構(gòu)化文檔和各類(lèi)型文檔的解析以及對(duì)計(jì)算機(jī)文檔的監(jiān)控，并在此基礎(chǔ)上進(jìn)行文檔索引的實(shí)時(shí)更新。

3、>　　本論文中實(shí)現(xiàn)的功能如下：
　　1、實(shí)現(xiàn)分布式系統(tǒng)中所有存儲(chǔ)節(jié)點(diǎn)的遍歷，對(duì)電腦中的各類(lèi)型文檔格式進(jìn)行解析并在本地建立索引；
　　2、實(shí)現(xiàn)對(duì)分布式局域網(wǎng)內(nèi)所有存儲(chǔ)節(jié)點(diǎn)的文檔監(jiān)控，一旦系統(tǒng)中有文檔改動(dòng)，計(jì)算機(jī)自動(dòng)更新索引，保證索引的正確性，實(shí)現(xiàn)實(shí)時(shí)檢索；
　　3、實(shí)現(xiàn)對(duì)數(shù)據(jù)的分域檢索，能對(duì)不同區(qū)域的字段分別進(jìn)行檢索；
　　4、實(shí)現(xiàn)局域網(wǎng)客戶(hù)端內(nèi)索引的分布式存儲(chǔ)和分布式并行檢索。
　　在本系統(tǒng)的兩類(lèi)節(jié)點(diǎn)中，客