基于Elastic Search的分布式日志搜索系統(tǒng)設(shè)計(jì).pdf

1、隨著云存儲(chǔ)、云計(jì)算技術(shù)的快速發(fā)展，數(shù)據(jù)的存儲(chǔ)、索引、搜索已經(jīng)成為互聯(lián)網(wǎng)數(shù)據(jù)管理中心的一個(gè)重要技術(shù)瓶頸，這是因?yàn)楝F(xiàn)行互聯(lián)網(wǎng)數(shù)據(jù)都是海量的，而基于ACID理論的關(guān)系數(shù)據(jù)庫(kù)很難滿足現(xiàn)行數(shù)據(jù)管理的需求。根據(jù)CAP理論，一個(gè)分布式系統(tǒng)不可能同時(shí)滿足一致性(Consistency)，可用性(Availability)和分區(qū)容忍性(Partition Tolerance)這三個(gè)需求，而基于高一致性和可用性的關(guān)系數(shù)據(jù)庫(kù)難以在架構(gòu)及部署上進(jìn)行橫向或者縱向

2、的切分，也就失去了充分利用并行和分布式系統(tǒng)擴(kuò)展性能的可能。
　　本論文在研究現(xiàn)有流行的搜索系統(tǒng)的設(shè)計(jì)原理、應(yīng)用環(huán)境及應(yīng)用案例的基礎(chǔ)上，結(jié)合海量日志數(shù)據(jù)的特點(diǎn)，提出基于Elastic Search的分布式日志搜索系統(tǒng)的架構(gòu)方案、設(shè)計(jì)方案、部署策略。根據(jù)日志系統(tǒng)搜索的特點(diǎn)，一方面絕大部分檢索都是基于主鍵的查詢;另一方面，日志數(shù)據(jù)在管理上并不需要保證強(qiáng)一致性，而只需要保證最終一致性。因此本系統(tǒng)采用分布式存儲(chǔ)策略，對(duì)數(shù)據(jù)進(jìn)行分級(jí)索引和緩存