面向有狀態(tài)應(yīng)用的并行系統(tǒng)設(shè)計研究.pdf

1、在過去十年里,機(jī)群系統(tǒng)得到了巨大的發(fā)展.機(jī)群系統(tǒng)之所以能得到人們的青睞,是因為它的諸多優(yōu)良特性,包括使用簡單、高可用、可擴(kuò)展和高性價比.由于這些本質(zhì)特性,使機(jī)群系統(tǒng)能滿足計算機(jī)網(wǎng)和電信網(wǎng)中信息系統(tǒng)所必須的高可用、高性能和可擴(kuò)展要求,所以可以看到有越來越多的信息系統(tǒng)在使用機(jī)群系統(tǒng)作為它們的硬件平臺,機(jī)群系統(tǒng)與信息系統(tǒng)儼然結(jié)合在一起了.而有狀態(tài)的信息系統(tǒng),又是所有信息系統(tǒng)中使用機(jī)群系統(tǒng)較典型的一個,這些有狀態(tài)的信息系統(tǒng)的共有特點是,系統(tǒng)要維

2、護(hù)大量的數(shù)據(jù),數(shù)據(jù)以一定的單元組織,每個單元相對獨立;系統(tǒng)的典型操作是針對一個數(shù)據(jù)單元,要支持大量的這種并發(fā)操作.但是設(shè)計者在用機(jī)群系統(tǒng)為有狀態(tài)的應(yīng)用進(jìn)行設(shè)計時,會碰到許多問題.為所有這些問題提出解決方案,每個解決方案又能滿足指標(biāo)要求,各解決方案之間不抵觸,需要很高的技巧.論文的主要目的就是為了緩解設(shè)計者在這方面的困難. 論文首先討論了負(fù)載均衡問題.輪循策略是并行系統(tǒng)中常見的負(fù)載均衡策略,而其在有狀態(tài)的應(yīng)用中的使用和相應(yīng)的性能表現(xiàn),還沒

3、有較詳細(xì)的研究和討論,作者對此進(jìn)行了研究.通過綜合排隊論和概率論理論,提出并建立了分析該問題的數(shù)學(xué)模型,通過分析和仿真實驗得到:系統(tǒng)的性能,即每個節(jié)點的吞吐量的利用率和平均響應(yīng)時間伸長率,都主要取決于請求到達(dá)速率與請求服務(wù)速率之比,而受節(jié)點數(shù)和并發(fā)請求源數(shù)的影響很小;系統(tǒng)在處理快速請求源時,系統(tǒng)的每個節(jié)點的平均吞吐量會有較大的下降,而平均響應(yīng)時間上升較少;單節(jié)點平均吞吐量只能達(dá)到最大值的70﹪左右,而平均響應(yīng)時間上升不超過原請求服務(wù)時間

4、的2倍;系統(tǒng)在處理慢速請求源時,系統(tǒng)的每個節(jié)點平均吞吐量下降不明顯,而平均響應(yīng)時間上升劇烈;單節(jié)點平均吞吐量能達(dá)到最大值的90﹪以上,而平均響應(yīng)時間上升超過原請求服務(wù)時間的9倍以上.該研究的重要意義在于,所提出的數(shù)學(xué)模型和分析方法具有一定的通用性,也適用于分析其他負(fù)載均衡策略在有狀態(tài)應(yīng)用中的性能;研究的結(jié)果還表明,采用輪循策略對有狀態(tài)的應(yīng)用進(jìn)行負(fù)載均衡,需考慮不同的應(yīng)用場合和相應(yīng)應(yīng)用的服務(wù)要求,因為在不同的應(yīng)用場合下系統(tǒng)的性能有顯著的區(qū)

5、別. 針對分布式均衡策略有擴(kuò)展性好,可用性好的優(yōu)點,論文對分布式均衡策略進(jìn)行了比較研究.考慮到分布式均衡策略的主要問題是各節(jié)點的決策一致性問題,著重比較了三個常見策略最小法、權(quán)重法和隨機(jī)法的性能.通過建立相應(yīng)的仿真模型,得到如下結(jié)論:權(quán)重法可以較好地協(xié)調(diào)各節(jié)點的決策,其性能優(yōu)于最小法;當(dāng)前臺節(jié)點所擁有的后臺節(jié)點的負(fù)載情況嚴(yán)重失真時,隨機(jī)法表現(xiàn)出的性能優(yōu)于其它兩個.該研究的意義在于,指出了在分布式均衡策略中,通常被認(rèn)為最優(yōu)的最小法

6、并不一定能給出最理想的性能,而通常不被認(rèn)為最優(yōu)的隨機(jī)法卻能在一定條件下給出優(yōu)秀的性能,其性能甚至可優(yōu)于權(quán)重法. 為了提高海量存儲機(jī)群系統(tǒng)中系統(tǒng)的平均故障前時間,作者在傳統(tǒng)的動態(tài)數(shù)據(jù)備份策略的基礎(chǔ)上,提出了動態(tài)并行數(shù)據(jù)備份策略.該策略的基本思想是利用海量存儲機(jī)群系統(tǒng)中節(jié)點數(shù)目巨大的特點和每個備份可以隨機(jī)存儲于任何一個節(jié)點的特性,通過為失效節(jié)點上的每個數(shù)據(jù)塊選擇互不相同的源節(jié)點和目標(biāo)節(jié)點,來降低數(shù)據(jù)轉(zhuǎn)移時間,進(jìn)而提高系統(tǒng)的平均故障前

7、時間.為了證明該策略的有效性,作者根據(jù)隨機(jī)過程理論,提出并建立了馬爾可夫模型,由該模型對系統(tǒng)進(jìn)行瞬態(tài)分析,進(jìn)而通過仿真實驗驗證了理論分析的正確性,得到的結(jié)論是:利用動態(tài)并行數(shù)據(jù)備份策略,當(dāng)備份數(shù)為2時,系統(tǒng)的平均故障前時間僅為1小時左右;而當(dāng)備份數(shù)為3時,可達(dá)十幾天,甚至幾十天;在出現(xiàn)節(jié)點失效后,數(shù)據(jù)塊在節(jié)點間的轉(zhuǎn)移速率對系統(tǒng)的平均故障前時間有顯著的影響,速率越快,系統(tǒng)的平均故障前時間越長;數(shù)據(jù)塊在節(jié)點上的隨機(jī)分布特性對系統(tǒng)的平均故障前

8、時間有很重要的影響,隨機(jī)分布特性差的分布策略,系統(tǒng)的平均故障前時間會顯著縮短.該研究的重要意義在于,所提出的并行數(shù)據(jù)備份策略能顯著地提高系統(tǒng)的平均故障前時間;并且指出通常的觀點,即為每個數(shù)據(jù)單元設(shè)置2個備份,對于一個有較高數(shù)據(jù)可靠性要求的海量數(shù)據(jù)系統(tǒng)來說是不能滿足要求的,而使用3個備份卻能滿足一般的要求. 論文還研究了其他因素對系統(tǒng)平均故障前時間的影響.研究的目的是通過對這些因素的分析,找到一些策略來保證一定的系統(tǒng)平均故障前時間

9、,同時又最大程度地節(jié)省資源,特別是人力資源,因為對于海量存儲機(jī)群系統(tǒng)來說,節(jié)點數(shù)目巨大,管理和維護(hù)系統(tǒng)的開銷很大.通過大量的仿真實驗發(fā)現(xiàn),對于一個通常配置的海量存儲機(jī)群系統(tǒng),當(dāng)節(jié)點的平均維修時間為2天時,系統(tǒng)平均故障前時間可維持在10天以上;當(dāng)節(jié)點的平均維修時間為4天時,仍可維持在4天以上.這表明對完整性要求不高的數(shù)據(jù),系統(tǒng)可放寬節(jié)點的平均維修時間要求,以降低對人力資源的要求.在恢復(fù)策略對系統(tǒng)平均故障前時間的影響方面,研究表明若用戶對系

10、統(tǒng)的平均故障前時間為4天的性能可以接受,則系統(tǒng)維護(hù)者可采用每2到3天維護(hù)一次的方案,將所有失效節(jié)點恢復(fù),加入系統(tǒng),以提高勞動效率.另外,通過比較拷貝式與重啟式對系統(tǒng)平均故障前時間的影響,發(fā)現(xiàn)重啟式不能在節(jié)點數(shù)較大的時候提供很好的性能,遠(yuǎn)低于拷貝式. 針對有狀態(tài)的應(yīng)用中通常有高并發(fā)的要求,論文對并發(fā)編程模式進(jìn)行了詳細(xì)的研究.首先比較了三種并發(fā)編程模式,即基于多線程的編程模式、基于事件處理的編程模式和基于階段的編程模式,分別指出了它

11、們的優(yōu)缺點,特別指出了基于階段的編程模式優(yōu)于其它兩種編程模式的主要原因在于其良性考驗的特性,該特性使服務(wù)器系統(tǒng)在處于過載的情況下,仍能維持一定的吞吐量,保證一定的服務(wù)質(zhì)量.緊接著,探討了基于階段的編程模式的實現(xiàn)結(jié)構(gòu),線程跨階段結(jié)構(gòu)和線程在階段內(nèi)結(jié)構(gòu),比較了兩種結(jié)構(gòu)的優(yōu)缺點,并指出由于線程在階段內(nèi)結(jié)構(gòu)有線程數(shù)有限,能處理阻塞操作,能自動完成調(diào)度,消息隊列透明等優(yōu)點,所以該結(jié)構(gòu)被廣泛采用.同時,作者還給出了該結(jié)構(gòu)下的Java語言的實現(xiàn)方法.

12、接著,考慮到相關(guān)文獻(xiàn)對基于階段的編程模式在實際應(yīng)用中的使用方法沒有詳細(xì)的討論,從三方面對該模式的設(shè)計進(jìn)行了討論,這些方面包括階段的數(shù)目、階段中線程的數(shù)目和階段的分配.通過大量的仿真實驗,發(fā)現(xiàn)用基于階段的編程模式進(jìn)行設(shè)計時,若系統(tǒng)結(jié)構(gòu)設(shè)計不合理,參數(shù)設(shè)置不當(dāng),則系統(tǒng)的性能將會有顯著的下降,甚至達(dá)到無法正常工作的境地,并由此提出了一套新的設(shè)計原則供設(shè)計者使用,這些原則是:在每一個處理器上,階段數(shù)目不能過多,一般不超過10個;對于包含阻塞調(diào)用

13、的階段,它的并發(fā)線程數(shù)可設(shè)為請求到達(dá)速率和平均阻塞時間的乘積;為了將暫時響應(yīng)及時發(fā)送,這部分任務(wù)必須放于一個不含阻塞調(diào)用的階段.最后,將它們應(yīng)用到實際的會話發(fā)起協(xié)議服務(wù)器的實現(xiàn)中,通過比較不同的系統(tǒng)設(shè)計的性能,證明了這些原則的正確性.另外,論文所提出的系統(tǒng)設(shè)計結(jié)構(gòu)對類似的應(yīng)用也有指導(dǎo)意義. 由于機(jī)群系統(tǒng)中不斷會有節(jié)點失效和恢復(fù),所以容錯設(shè)計是系統(tǒng)能正確運(yùn)行的關(guān)鍵技術(shù).鑒于這方面的工作,往往是設(shè)計者根據(jù)自身的經(jīng)驗完成,而沒有一套通

14、用的分析和設(shè)計方法,本文對此做了研究.為使設(shè)計者能進(jìn)行有層次有條理的容錯設(shè)計,提出了一套新的容錯設(shè)計分層概念,這些分層概念包括基本級設(shè)計、系統(tǒng)級設(shè)計、基本級容錯設(shè)計和系統(tǒng)級容錯設(shè)計.通過將這些概念應(yīng)用于4個實際系統(tǒng)的容錯設(shè)計分析,證實了這些概念能很好地將容錯設(shè)計從系統(tǒng)設(shè)計中分離出來,同時,這樣的分析所得出的容錯設(shè)計方案也可供設(shè)計者進(jìn)行重用.另外,還從許多系統(tǒng)的容錯設(shè)計中,總結(jié)出4條常見的設(shè)計技術(shù),供設(shè)計者參考,這些技術(shù)包括節(jié)點失效檢測技

15、術(shù)、失效消息處理技術(shù)、簿記技術(shù)與緩存技術(shù)和重試技術(shù). 論文還對狀態(tài)分配的方法進(jìn)行了分類和歸納,總結(jié)了每種方法的特點.對分布式狀態(tài)分配策略中的數(shù)據(jù)分配表的重建問題,進(jìn)行了詳細(xì)的討論,提出了簡單平均法,該法可使新建后系統(tǒng)中各節(jié)點維護(hù)基本相同數(shù)目的元數(shù)據(jù),以均衡新建后系統(tǒng)中各節(jié)點元數(shù)據(jù)訪問的負(fù)載,還可使各正常工作節(jié)點的元數(shù)據(jù)表的變化盡可能小,以減小重建元數(shù)據(jù)表所需開銷. 組成員協(xié)議設(shè)計方面,論文比較了常見的檢測協(xié)議和決定協(xié)議的