基于Lucene的大數(shù)據(jù)量全文搜索引擎的研究與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)時(shí)代，搜索引擎已經(jīng)成為人們獲取信息和進(jìn)行信息化管理的重要工具，Lucene作為當(dāng)前最為流行的開(kāi)源搜索工具之一，已經(jīng)應(yīng)用到很多領(lǐng)域。但是隨著數(shù)據(jù)量的增長(zhǎng)Lucene會(huì)遇到很多問(wèn)題，大數(shù)據(jù)量索引產(chǎn)生的大索引文件會(huì)在索引創(chuàng)建、索引優(yōu)化合并以及搜索等操作時(shí)暴露出很多問(wèn)題，而且大索引也影響著搜索的實(shí)時(shí)性。這些隨著數(shù)據(jù)量增大而帶來(lái)的一系列問(wèn)題一直以來(lái)都困擾著開(kāi)發(fā)人員，對(duì)于Lucene也只是一個(gè)搜索引擎工具包，在實(shí)際應(yīng)用中特別是大數(shù)據(jù)量情況下的

2、應(yīng)用中需要我們做的還有很多很多。本文就是圍繞這些問(wèn)題而展開(kāi)，并提出了一套有效解決以上問(wèn)題的方案。通過(guò)不斷的學(xué)習(xí)和實(shí)踐，我們總結(jié)了影響大數(shù)據(jù)量索引和搜索性能主要的原因是大索引文件以及索引碎片的共同存在，造成增量索引、索引合并以及搜索加載成本太高和對(duì)大量數(shù)據(jù)進(jìn)行索引和合并時(shí)遇到的磁盤(pán)IO瓶頸和內(nèi)存的過(guò)度消耗。
　　針對(duì)以上問(wèn)題，我們主要從三個(gè)方面入手以解決大數(shù)據(jù)量下索引和搜索的問(wèn)題：第一，針對(duì)單索引情況采用緩存技術(shù)，內(nèi)存索引目錄以及復(fù)

3、用IndexWriter和IndexSearch對(duì)象等方法減少磁盤(pán)IO并提高搜索加載速度；第二，我們提出了一種多文件存儲(chǔ)的主索引局部?jī)?yōu)化合并的策略來(lái)解決因大索引文件和索引碎片共存而帶來(lái)的索引增量和合并成本過(guò)高問(wèn)題；第三，將索引增量與索引更新分開(kāi)處理，分索引文件存儲(chǔ)進(jìn)行內(nèi)部?jī)?yōu)化，以減少主索引合并優(yōu)化頻率，并為實(shí)時(shí)性搜索提供支持。
　　考慮到實(shí)際應(yīng)用中的實(shí)時(shí)性要求和傳統(tǒng)實(shí)時(shí)性搜索解決方案在大數(shù)據(jù)量情況下存在的問(wèn)題，我們提出了一種新的實(shí)