智能網(wǎng)絡(luò)磁盤(IND)存儲管理方法研究.pdf

1、隨著網(wǎng)絡(luò)化和數(shù)字化技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)為廣大的用戶提供了極為豐富的信息資源,如何處理并長期保存有重要價值的海量數(shù)據(jù)信息,引起了人們的高度關(guān)注。因此,近年來海量信息存儲技術(shù)已經(jīng)成為計算機(jī)科學(xué)和技術(shù)領(lǐng)域的一個非常重要的研究方向和技術(shù)研究熱點。
　　目前在解決海量信息存儲技術(shù)問題的眾多技術(shù)方案中,網(wǎng)絡(luò)集群技術(shù)是一種最流行的實現(xiàn)方式,但是在網(wǎng)絡(luò)集群存儲系統(tǒng)中仍然還不同程度地存在著存儲性能瓶頸和單點故障問題,因此,如何有效地克服網(wǎng)絡(luò)集群存

2、儲方式中的存儲性能瓶頸和單點故障問題是當(dāng)前計算機(jī)存儲技術(shù)研究領(lǐng)域中一項十分重要的研究工作,具有重要的理論意義和實際意義。
　　智能網(wǎng)絡(luò)磁盤(Intelligent Network Disk,IND)存儲系統(tǒng)是作者課題組提出的一種新的智能化的海量信息存儲體系結(jié)構(gòu),由智能網(wǎng)絡(luò)磁盤(IND)組成的網(wǎng)絡(luò)存儲系統(tǒng)除了具有一般網(wǎng)絡(luò)集群存儲系統(tǒng)的特點外,還能通過采用一系列的智能控制算法來防止存儲性能瓶頸和單點故障問題,維護(hù)系統(tǒng)的負(fù)載均衡,實現(xiàn)整

3、個網(wǎng)絡(luò)存儲系統(tǒng)的智能化信息存儲。因此,智能網(wǎng)絡(luò)磁盤(IND)存儲系統(tǒng)是一種較理想的網(wǎng)絡(luò)集群存儲系統(tǒng)。
　　本文對智能網(wǎng)絡(luò)磁盤(IND)存儲系統(tǒng)的嵌入式IND結(jié)構(gòu)模型、IND智能存儲管理算法、適合IND特性的綜合負(fù)載均衡策略、消除系統(tǒng)熱點瓶頸的Cache調(diào)整機(jī)制以及IND在視頻服務(wù)器與高性能計算中的應(yīng)用等存儲管理方法進(jìn)行了系統(tǒng)和深入的研究。作者所做的主要研究工作和創(chuàng)新性成果體現(xiàn)在以下幾方面:
　　1、提出了一種具有直接聯(lián)網(wǎng)和自

4、主存儲功能的IND結(jié)構(gòu)模型。這種IND通過聯(lián)網(wǎng)可靈活地構(gòu)建大容量的IND存儲系統(tǒng),為存儲虛擬化增添了一種海量存儲的新途徑,并進(jìn)行了相應(yīng)試驗,為后續(xù)探索提供了有利條件。
　　2、提出了IND存儲系統(tǒng)的智能存儲管理算法。在深入研究Bloom filter和Hash表對存儲管理的重要作用的基礎(chǔ)上,設(shè)計了相應(yīng)的IND算法以控制存儲系統(tǒng)的讀寫過程,自動地應(yīng)對客戶的高并發(fā)請求,實現(xiàn)IND之間的相互協(xié)調(diào),提高系統(tǒng)整體存儲效率。同時,采用集中控制

5、和分散服務(wù)的管理措施,能夠克服存儲性能瓶頸和單點故障問題。大量測試結(jié)果表明,在當(dāng)前條件下,這是實現(xiàn)IND海量存儲行之有效的一種存儲方法。
　　3、提出了一種適合IND特性的綜合負(fù)載均衡策略。它能夠根據(jù)IND處理能力和任務(wù)特點來合理分配負(fù)載。通過統(tǒng)計讀寫訪問頻數(shù),結(jié)合時空因素來動態(tài)調(diào)整實現(xiàn)存儲系統(tǒng)的負(fù)載均衡,使各IND負(fù)載盡量分布均勻。當(dāng)在高并發(fā)請求產(chǎn)生負(fù)載傾斜時,可適時遷移調(diào)整各個IND上的文件數(shù)量。這種用文件訪問頻數(shù)動態(tài)調(diào)整負(fù)載

6、均衡的方法,不干擾系統(tǒng)進(jìn)程,不增加通信開銷。實驗研究表明,系統(tǒng)運行穩(wěn)定,收到了很好的效果。
　　4、提出了一種能夠消除系統(tǒng)熱點瓶頸的Cache調(diào)整機(jī)制。針對讀請求頻繁的系統(tǒng),如IND用于Web服務(wù)器、視頻服務(wù)器,采用Cache動態(tài)調(diào)整策略可消除系統(tǒng)的熱點瓶頸,減少延時和遷移通信開銷,提高了存儲系統(tǒng)的性能。
　　5、設(shè)計了一種IND視頻點播系統(tǒng),其運行結(jié)果令人滿意,它綜合反映了IND存儲系統(tǒng)的特色,預(yù)示了IND的應(yīng)用前景。此外