虛擬化技術(shù)中的存儲管理問題研究.pdf

1、隨著CPU、RAM、磁盤陣列、高速互連網(wǎng)絡(luò)等硬件技術(shù)的發(fā)展，以及以虛擬化技術(shù)、并行計算和分布式系統(tǒng)等軟件技術(shù)的發(fā)展，網(wǎng)格計算、效用計算、服務(wù)計算、云計算等新興計算模式不斷涌現(xiàn)，并得到了迅猛發(fā)展。虛擬化技術(shù)提供的服務(wù)整合、資源動態(tài)分配技術(shù)、增強的安全隔離等特性可以很好地解決這些新興計算模式所遇到的安全隔離、資源分配等問題。
　　 與此同時，隨著全球數(shù)據(jù)信息量的持續(xù)爆炸性增長，企業(yè)和個人對數(shù)據(jù)存儲空間的需求也越來越大，用于購買存儲設(shè)

2、備的支出、以及存儲設(shè)備在總的IT開支中的比例也不斷增大。但是一方面是快速增長的存儲設(shè)備開支、較高的設(shè)備能耗，另一方面卻是較低的存儲空間利用率，這些都對存儲管理技術(shù)提出了新的需求和挑戰(zhàn)。為此，出現(xiàn)了自動精減配置、空閑空間回收、重復(fù)數(shù)據(jù)縮減[SGL08]、基于云計算模式的云存儲等許多新的存儲管理技術(shù)和存儲服務(wù)模式。
　　 云存儲模式同其它云計算一樣，基于虛擬化技術(shù)，通過整合眾多異構(gòu)、廉價的服務(wù)器和存儲設(shè)備，構(gòu)建眾多的虛擬化的實例，為

3、企業(yè)和個人用戶提供持續(xù)不斷的應(yīng)用和存儲服務(wù)，不僅可以滿足廣大中小企業(yè)和個人的計算和存儲需求，而且也有效地減少了中小企業(yè)的存儲開支和能耗。但設(shè)備開支和能耗壓力又轉(zhuǎn)移到了云存儲服務(wù)端。自動精減配置是目前許多存儲管理產(chǎn)品都具備的功能，基于存儲虛擬化技術(shù)，減少每個虛擬卷的初始配置大小，僅在必要的時候才進行擴展，以此來提高存儲空間利用率。因此在云存儲服務(wù)端結(jié)合自動精簡配置技術(shù)管理存儲資源，以有效提高存儲利用率，應(yīng)是云存儲服務(wù)端存儲資源管理的重要趨

4、勢。
　　 雖然自動精減配置技術(shù)可以大幅度提高存儲空間利用率，但是由于大量的文件刪除等操作，虛擬卷中仍然存儲大量的空閑空間無法利用。目前僅有較少的幾種自動精減配置技術(shù)配有空間回收技術(shù)，而且其中有許多都是要在遷移時才能進行空閑空間的回收，因而廣泛存在回收效率不高、影響用戶使用、應(yīng)用范圍狹窄等缺點，在實際使用時無法真正有效地回收利用空閑空間。
　　 本文針對目前云存儲系統(tǒng)中存在的提高存儲利用率的需求，擴展了自動精減配置技術(shù)，

5、提出一個虛擬存儲在虛擬機間按需動態(tài)流動模型(Virtual StorageFlow on-Demand，VSFoD)。該模型將一臺服務(wù)器擁有的所有存儲資源都整合到一個統(tǒng)一的存儲池中，從存儲池中創(chuàng)建邏輯卷，作為每個虛擬化實例所擁有的虛擬存儲空間。基于該模型，虛擬存儲空間可以根據(jù)需要動態(tài)地擴展；另一方面，當(dāng)整體存儲空間緊張時，為了響應(yīng)其它虛擬化實例的虛擬存儲空間的擴展與創(chuàng)建需求，也可以收縮某一虛擬化實例所擁有的虛擬存儲空間，回收其一部分空閑

6、空間；若回收了空閑空間后資源仍然緊張，則可以向網(wǎng)絡(luò)中的鄰居節(jié)點請求共享鄰居節(jié)點的空閑空間。即存儲空間可以由一個空閑空間較多的虛擬化實例“流”向空閑空間緊張的虛擬化實例。由此，該模型比起現(xiàn)有的自動精簡配置技術(shù)，更能有效地提高存儲利用率，進而降低存儲開支和能耗，也更加適合于云存儲模式。
　　 Xen是一個擁有較高性能的開源的服務(wù)器虛擬化技術(shù)，許多企業(yè)的產(chǎn)品和科研項目都基于Xen，包括在業(yè)界非常有代表性的亞馬遜(Amazon)公司的

7、EC2(彈性計算云)和S3(簡單存儲服務(wù))。本文中實現(xiàn)的VSFoD模型的原型系統(tǒng)也是基于Xen。
　　 在原型系統(tǒng)中，本文首先改進了現(xiàn)有的邏輯卷管理器，使其能夠考慮到各個物理存儲設(shè)備的性能差異，提高邏輯卷的讀寫性能，實驗結(jié)果表明，應(yīng)用該改進方法，可以顯著地提高所創(chuàng)建的邏輯卷的讀寫性能；另一方面，能夠在創(chuàng)建邏輯卷時，可以指定所映射的物理存儲區(qū)域，增強邏輯卷管理器的管理功能。
　　 然后，本文改進了Xen的虛擬塊設(shè)備管理，使

8、得擴展或收縮某一虛擬塊設(shè)備后，它所在的虛擬機能夠感知其大小的變化。否則，只能重啟Xen虛擬機才能更新它的虛擬塊設(shè)備大小，而這樣就會影響到用戶的數(shù)據(jù)訪問操作。此外，本文也給出一種更加適合于Xen等虛擬化環(huán)境下的虛擬機間IO性能虛擬化方法，以保障各個用戶之間對服務(wù)器IO帶寬的公平共享，避免相互影響。實驗結(jié)果表明，比起Xen中原有的IO調(diào)度方法，這種性能隔離方法可以有效地保障各虛擬機間公平地共享磁盤IO帶寬，也能夠根據(jù)不同虛擬機的權(quán)重，為各虛

9、擬機按比例地分配磁盤帶寬。
　　 為了使用戶能夠感知并正常使用動態(tài)變化了的虛擬塊設(shè)備，必須使文件系統(tǒng)的大小與之匹配，并盡量降低對用戶讀寫操作的影響。本文最后給出了一種對Linux系統(tǒng)中最常用的也是默認(rèn)的ext2/3文件系統(tǒng)進行在線收縮的方法，并給出了在Xen虛擬機中實現(xiàn)ext2/3文件系統(tǒng)在線收縮的方法。實驗結(jié)果表明，該方法可以正確地收縮文件系統(tǒng)，并且不阻塞用戶讀寫，對于讀寫性能的影響在最壞情況下也只有5％～10％。