面向非易失性內(nèi)存的持久化Key-value內(nèi)存數(shù)據(jù)庫設(shè)計與實現(xiàn).pdf

1、目前的內(nèi)存數(shù)據(jù)庫為了保證數(shù)據(jù)不會丟失，會把內(nèi)存中的數(shù)據(jù)備份到磁盤中。因為備份操作以及I/O操作的引入會極大降低內(nèi)存數(shù)據(jù)庫的效率。近年出現(xiàn)的非易失性內(nèi)存（NVM）具有掉電不丟失數(shù)據(jù)、字節(jié)可尋址以及讀寫速度快等特點，如果把內(nèi)存數(shù)據(jù)庫部署在NVM上，可以極大地提升數(shù)據(jù)庫的效率。然而，現(xiàn)有的內(nèi)存數(shù)據(jù)庫不能很好地利用NVM的優(yōu)勢，主要存在以下三個問題：
　　1）現(xiàn)有內(nèi)存數(shù)據(jù)庫使用操作系統(tǒng)管理的臨時內(nèi)存和數(shù)據(jù)結(jié)構(gòu)，可能被系統(tǒng)回收或置換到外存，

2、不能持久化保存在內(nèi)存里；
　　2）現(xiàn)有內(nèi)存數(shù)據(jù)庫的一致性機制依賴于塊設(shè)備文件系統(tǒng)，不能利用NVM按字節(jié)尋址等特性提高性能；
　　3）數(shù)據(jù)庫的操作數(shù)據(jù)量較小，需要細粒度的內(nèi)存空間管理。
　　為此，本次研究的目的是設(shè)計一個新的基于非易失性內(nèi)存的key-value內(nèi)存數(shù)據(jù)庫。和傳統(tǒng)的內(nèi)存數(shù)據(jù)庫相比，基于非易失性內(nèi)存的數(shù)據(jù)庫在保證訪問效率的同時，又可以避免數(shù)據(jù)丟失，避免數(shù)據(jù)庫備份以及I/O操作。本文的主要研究內(nèi)容如下：

3、　?、俜且资詢?nèi)存物理空間管理。對非易失性內(nèi)存的操作都是通過映射到用戶空間的地址，在非易失性內(nèi)存上直接操作。通過空閑鏈表和位圖共同管理空閑空間。大空間分配采用直接在空閑鏈表上分配的方式，小空間分配采用提前預分配的方式，減少對空閑鏈表的操作。這種分配分配方式減少了內(nèi)部碎片，提高對小空間的分配效率。
　　②利用非易失性內(nèi)存的非易失性持久化數(shù)據(jù)庫，需要設(shè)計數(shù)據(jù)庫的元數(shù)據(jù)信息。當數(shù)據(jù)庫存儲于非易失性內(nèi)存上時，雖然它具有非易失性，但是存儲數(shù)

4、據(jù)的具體位置和索引等信息已經(jīng)不在，不能恢復數(shù)據(jù)庫。為此我們根據(jù)需求，設(shè)計數(shù)據(jù)庫的元數(shù)據(jù)，在設(shè)備固定位置保存數(shù)據(jù)庫的索引和組織結(jié)構(gòu)信息。在重新啟動或者系統(tǒng)掉電后依然可以快速恢復數(shù)據(jù)庫。
　?、塾捎诜且资詢?nèi)存的引入，重新設(shè)計并實現(xiàn)保證一致性的方案。普通的磁盤數(shù)據(jù)庫是依靠文件系統(tǒng)的一致性機制來保證一致性，在非易失性內(nèi)存中已經(jīng)不適用。本文通過日志與寫入時復制（COW）相結(jié)合的方式來保證數(shù)據(jù)庫的一致性。這種方式可以在保證一致性的同時保證高

5、并發(fā)能力。
　　本文使用提出的技術(shù)，基于開源的key-value內(nèi)存數(shù)據(jù)庫Redis實現(xiàn)了一個面向非易失性內(nèi)存的持久化內(nèi)存數(shù)據(jù)庫，Persistent Redis(PRedis)。在Redis基礎(chǔ)上，PRedis新增加非易失性內(nèi)存管理單元，數(shù)據(jù)庫元數(shù)據(jù)和一致性性算法。本文用標準工具驗證PRedis的性能。在數(shù)據(jù)量是1000萬條的情況下，數(shù)據(jù)庫的啟動和關(guān)閉效率有1000倍的提升。相比基于磁盤做備份的Redis，本文提出的PRedis