并行磁盤系統(tǒng)的預(yù)取及緩存技術(shù)研究.pdf_第1頁(yè)
已閱讀1頁(yè),還剩135頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、隨著網(wǎng)絡(luò)、計(jì)算機(jī)技術(shù)的發(fā)展以及大規(guī)模數(shù)據(jù)密集型應(yīng)用的出現(xiàn),基于并行磁盤的存儲(chǔ)系統(tǒng)變得越來(lái)越重要,并被廣泛應(yīng)用于各種場(chǎng)合。然而,磁盤性能的提高遠(yuǎn)遠(yuǎn)落后于處理器等電子設(shè)備,這使得存儲(chǔ)系統(tǒng)仍舊是整個(gè)計(jì)算機(jī)系統(tǒng)的性能瓶頸。預(yù)取(Prefetching)以及緩存(Caching)是能夠提高存儲(chǔ)系統(tǒng)性能的兩種非常有效的技術(shù)。但是,傳統(tǒng)的預(yù)取以及緩存大多針對(duì)單個(gè)存儲(chǔ)設(shè)備而設(shè)計(jì),它們很難適應(yīng)并行磁盤系統(tǒng)。并行磁盤系統(tǒng)無(wú)論是在結(jié)構(gòu)上還是訪問(wèn)特點(diǎn)上都為預(yù)取

2、以及緩存技術(shù)提出了新的挑戰(zhàn)。因此,根據(jù)并行磁盤系統(tǒng)的特點(diǎn)改進(jìn)預(yù)取以及緩存技術(shù)使之適應(yīng)并有效地提高并行存儲(chǔ)系統(tǒng)的性能非常有意義。
  順序訪問(wèn)是磁盤訪問(wèn)中最為重要的一種訪問(wèn)模式,因?yàn)閷?duì)磁盤(包括 RAID中的磁盤)來(lái)說(shuō),順序訪問(wèn)與隨機(jī)訪問(wèn)之間的性能差距最大可有一個(gè)數(shù)量級(jí)以上的差別。正因?yàn)轫樞蛟L問(wèn)可帶來(lái)性能提高,因此無(wú)論是在工業(yè)界還是在學(xué)術(shù)界都有大量的技術(shù)致力于挖掘或者改善存儲(chǔ)系統(tǒng)中的順序訪問(wèn)。這些技術(shù)面臨的一個(gè)重大挑戰(zhàn)在于:如何獲取

3、順序訪問(wèn)流的長(zhǎng)度信息,只有對(duì)長(zhǎng)度信息具有一定程度的了解,相關(guān)技術(shù)才能真正發(fā)揮出其功用。針對(duì)這種情況,提出一種加權(quán)圖模型挖掘和預(yù)測(cè)順序流長(zhǎng)度信息。該模型不僅能準(zhǔn)確捕獲不規(guī)則的長(zhǎng)度信息變化,也能根據(jù)不同負(fù)載類型的特點(diǎn)動(dòng)態(tài)調(diào)整以適應(yīng)盡可能多的應(yīng)用環(huán)境。
  并行磁盤系統(tǒng)因?yàn)槠浔旧淼奶攸c(diǎn)往往用作數(shù)據(jù)中心的最底層存儲(chǔ)設(shè)備,因此其配置的緩存一般都屬于第二層緩存。第二層緩存的一個(gè)最主要特點(diǎn)是:數(shù)據(jù)訪問(wèn)具有很弱的時(shí)間局部性,這是因?yàn)榈竭_(dá)第二層緩存

4、的訪問(wèn),都是來(lái)自于第一層緩存的缺失(Miss)。更為嚴(yán)重的是,隨著存儲(chǔ)系統(tǒng)緩存與主機(jī)緩存的配置越來(lái)越接近,第二層緩存中數(shù)據(jù)的重用距離(Reuse Distance)與數(shù)據(jù)被保存在緩存中的生命周期越來(lái)越接近。在這種情況下,任何提前減少第二層緩存數(shù)據(jù)生命周期的動(dòng)作(如預(yù)?。┒伎赡茏罱K導(dǎo)致數(shù)據(jù)失去在緩存中被再次訪問(wèn)的機(jī)會(huì)。然而,這個(gè)問(wèn)題在傳統(tǒng)的預(yù)取算法中沒(méi)有得到重視。針對(duì)第二層緩存的這些問(wèn)題,提出一種自適應(yīng)順序預(yù)取算法ASEP,在決定預(yù)取深度

5、的時(shí)候該算法不僅僅考慮磁盤順序性的挖掘,還考慮到對(duì)第二層緩存中數(shù)據(jù)造成的影響,這些影響既包括因預(yù)取操作被替換出內(nèi)存的數(shù)據(jù),還包括因?yàn)樯芷诒粶p少而失去再次被訪問(wèn)機(jī)會(huì)的數(shù)據(jù)。為此,ASEP還提出了一種模型用于評(píng)估預(yù)取數(shù)據(jù)對(duì)第二層緩存的影響。該算法大大提高了第二層緩存的訪問(wèn)命中率,改善了順序預(yù)取在底層存儲(chǔ)設(shè)備中的效率。
  在高度并行化的并行磁盤系統(tǒng)中,就預(yù)取技術(shù)來(lái)說(shuō),其預(yù)取請(qǐng)求的磁盤獨(dú)立性要比并行性更加重要,前者可以大大降低預(yù)取請(qǐng)

6、求的成本。考慮到傳統(tǒng)預(yù)取算法在應(yīng)用到并行存儲(chǔ)系統(tǒng)中的局限性(數(shù)據(jù)條帶分布導(dǎo)致順序性缺失),提出了一種針對(duì)并行磁盤系統(tǒng)的基于訪問(wèn)局部性的條帶化預(yù)取算法 LSP。條帶化預(yù)取(Strip Prefetching)是一種數(shù)據(jù)讀取代價(jià)非常少的預(yù)取算法,一旦磁盤條帶(Strip)上的某個(gè)數(shù)據(jù)塊被命中,那么整個(gè)磁盤條帶將會(huì)跟隨此數(shù)據(jù)塊一起被預(yù)取到緩存中,從而節(jié)省了預(yù)取請(qǐng)求中磁頭定位尋道時(shí)間。更重要的是LSP將用戶的訪問(wèn)特征融合到條帶化預(yù)取之中,它首先

7、根據(jù)用戶的訪問(wèn)挖掘出磁盤上的預(yù)取區(qū)域,并限定只有位于這些預(yù)取區(qū)域的磁盤條帶才會(huì)被預(yù)取。由于預(yù)取區(qū)域在數(shù)據(jù)分布上的空間局部性,此算法可以有效地改善緩存利用率,并提高磁盤帶寬的使用效率避免帶寬的浪費(fèi)。
  傳統(tǒng)緩存管理算法往往以最小化緩存失效(Cache Miss)的數(shù)量作為設(shè)計(jì)目標(biāo)。實(shí)際上,這樣的設(shè)計(jì)目標(biāo)可能導(dǎo)致錯(cuò)誤。一方面,可磁盤并行讀取數(shù)據(jù)的緩存失效其成本要遠(yuǎn)小于只能序列化讀取的緩存失效,同樣可順序讀取的緩存失效也遠(yuǎn)小于隨機(jī)緩存

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論