基于LevelDB的鍵值存儲引擎的設(shè)計與實現(xiàn).pdf

1、海量數(shù)據(jù)的合理運用是云時代的大數(shù)據(jù)的主題，如何在數(shù)據(jù)中分析提取出關(guān)鍵信息是企業(yè)關(guān)注的焦點。解決數(shù)據(jù)存儲及管理，發(fā)展一個性能高、擴(kuò)展性好、性價比高、易用的分布式存儲系統(tǒng)來滿足新的發(fā)展需求是整個互聯(lián)網(wǎng)發(fā)展的關(guān)鍵。將分布式集合進(jìn)行計算、存儲管理，促進(jìn)各行各業(yè)提高效益，簡化服務(wù)是一場新的信息技術(shù)革命。鑒于此本文主要針對提高分布式KV存儲系統(tǒng)的性能，分析研究系統(tǒng)中存儲引擎的原理、架構(gòu)及工作流程，并提出優(yōu)化方案。
　　本文首先研究分析了當(dāng)前國

2、內(nèi)外主流分布式鍵值存儲Memcached、Redis、Tair，并對三種系統(tǒng)進(jìn)行效率上的對比分析，之后對ShenDB所采用的理論模型LSM-Tree、架構(gòu)基礎(chǔ)LevelDB進(jìn)行分析描述，最后從compaction的順序執(zhí)行入手對系統(tǒng)優(yōu)化，提升數(shù)據(jù)的處理性能。在重新構(gòu)建compaction中第一階段我將其拆分，將Write、Compute、Read操作進(jìn)行流水線合并。但是對于不同情形的流水線合并存在不同的瓶頸，無論哪種資源成為瓶頸，都不能

3、充分利用另一種資源，并且流水線效率低。第二階段為了減低瓶頸對于流水線效率的影響，采用添加瓶頸資源的方式，進(jìn)行并行流水線合并。優(yōu)化后的系統(tǒng)比第一階段有著顯著的提升。最后與LevelDB進(jìn)行隨機讀寫和順序讀寫的性能對比測試，測試層級之間相鄰大小比例設(shè)為（1:2、1:4、1:6、1:8、1:10），數(shù)據(jù)量設(shè)為value_size*Num=(1KB*1M10KB*100K100KB*K)。
　　經(jīng)過長時間大規(guī)模的對比測試，ShenDB的存