面向內(nèi)存文件系統(tǒng)的數(shù)據(jù)一致性更新機(jī)制和進(jìn)程調(diào)度的研究.pdf

1、數(shù)據(jù)時(shí)代需要高效地處理規(guī)模龐大的數(shù)據(jù)以獲取需要的信息。近年來(lái)研究界提出的基于存儲(chǔ)級(jí)內(nèi)存（Storage Class Memory，SCM）介質(zhì)的內(nèi)存文件系統(tǒng)在高效處理大量實(shí)時(shí)數(shù)據(jù)方面表現(xiàn)出了極大的潛力。能夠連續(xù)穩(wěn)定的可靠工作是設(shè)計(jì)文件系統(tǒng)時(shí)必須要考慮的一個(gè)重要問(wèn)題，文件系統(tǒng)的可靠性由更新時(shí)維護(hù)數(shù)據(jù)的一致性來(lái)保證。內(nèi)存文件系統(tǒng)的數(shù)據(jù)訪問(wèn)方式和I/O路徑不同于傳統(tǒng)面向塊設(shè)備的文件系統(tǒng)，現(xiàn)有的一致性更新機(jī)制沒(méi)能很好的利用SCM介質(zhì)的特點(diǎn)，適用

2、于內(nèi)存文件系統(tǒng)的數(shù)據(jù)一致性更新機(jī)制尚未得到很好的研究。另一方面基于SCM介質(zhì)的內(nèi)存文件系統(tǒng)的高性能是以消耗大量?jī)?nèi)存帶寬為基礎(chǔ)的，在文件的整個(gè)訪問(wèn)過(guò)程中會(huì)持續(xù)占用大量?jī)?nèi)存帶寬，從而影響系統(tǒng)中其它需求帶寬進(jìn)程的性能。
　　本文中，我們提出了一種有效的數(shù)據(jù)一致性更新機(jī)制—兩棲更新策略（Amphibian Update Strategy，AUS），它能很好的利用SCM介質(zhì)按字節(jié)尋址、隨機(jī)訪問(wèn)和可以使用虛擬地址進(jìn)行連續(xù)讀寫(xiě)的特點(diǎn)。AUS根據(jù)

3、更新請(qǐng)求數(shù)據(jù)量大小決定使用直接拷貝（Direct Copy，DC）或原子性更新（Atomic Update，AU）進(jìn)行主文件一致性的維護(hù)。我們以內(nèi)存文件系統(tǒng)SIMFS為基礎(chǔ)，實(shí)現(xiàn)了多種現(xiàn)有數(shù)據(jù)一致性更新機(jī)制的版本。使用文件系統(tǒng)測(cè)試基準(zhǔn)IOZone分別測(cè)試了各種數(shù)據(jù)一致性更新機(jī)制實(shí)現(xiàn)在SIMFS中的性能，實(shí)驗(yàn)結(jié)果表明AUS性能最好。
　　為了應(yīng)對(duì)直接使用Linux現(xiàn)有調(diào)度器CFS進(jìn)行調(diào)度時(shí)，內(nèi)存訪問(wèn)密集型進(jìn)程會(huì)大量消耗內(nèi)存帶寬從而影

4、響其它進(jìn)程執(zhí)行的問(wèn)題。我們首先構(gòu)建了一個(gè)在帶寬有限情況下可以獲得工作集的最短完成時(shí)間的 ILP調(diào)度模型，然后提出了帶寬自適應(yīng)（Bandwidth-Fit，B-Fit）啟發(fā)式算法來(lái)有效的解決工作集的調(diào)度問(wèn)題。雖然ILP總能找出最優(yōu)解，但由于其運(yùn)行時(shí)間隨著問(wèn)題規(guī)模的增大呈指數(shù)增長(zhǎng)，所以能夠在O(n)時(shí)間內(nèi)找出接近于最優(yōu)解的B-Fit算法才更為實(shí)用。我們把該項(xiàng)技術(shù)使用用戶級(jí)權(quán)限實(shí)現(xiàn)到Linux系統(tǒng)中，實(shí)驗(yàn)表明與CFS相比，其最多可以將工作集的