關(guān)于存儲(chǔ)與iops的正確觀(guān)念

1、Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,關(guān)于存儲(chǔ)的正確觀(guān)念及CURTIS公司的產(chǎn)品和服務(wù),Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,

2、Agenda,常見(jiàn)的用戶(hù)存儲(chǔ)需求用戶(hù)對(duì)存儲(chǔ)的一些錯(cuò)誤認(rèn)識(shí)：許多磁盤(pán)陣列的性能（IOPS? ）都高于500,000“4Gb光纖+SBOD”盤(pán)陣的性能（IOPS? ）會(huì)比“2Gb光纖+JBOD”盤(pán)陣高100%以上盤(pán)陣中的Cache在所有情況下都能提升存儲(chǔ)性能（IOPS? ）數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)都需要高性能（IOPS? ）分層存儲(chǔ)解決方案TCO分析Curtis公司的“IT系統(tǒng)能力評(píng)估分析和優(yōu)化服務(wù)”當(dāng)今僅有的自動(dòng)、智能化分層存儲(chǔ)

3、：STORAGE CENTER,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,在招標(biāo)中常見(jiàn)的用戶(hù)存儲(chǔ)需求,存儲(chǔ)性能：磁盤(pán)系統(tǒng)的性能（IOPS） ≥ 500,000； 磁盤(pán)系統(tǒng)裸容量：≥ XXX TB； 可靠性：存儲(chǔ)系統(tǒng)必須通過(guò)提供可用的部件冗余設(shè)計(jì)，如電源、風(fēng)扇及核心關(guān)鍵模塊等，使系統(tǒng)的

4、可靠性達(dá)到最高級(jí)別；開(kāi)放性：磁盤(pán)系統(tǒng)應(yīng)具有多平臺(tái)/多主機(jī)的連接能力，能滿(mǎn)足服務(wù)器及應(yīng)用系統(tǒng)集中對(duì)數(shù)據(jù)存儲(chǔ)和管理的要求；同時(shí)，可以集中管理和分配存儲(chǔ)容量，提高生產(chǎn)效率。提供對(duì)主流集群系統(tǒng)的支持； 可管理性：可通過(guò)存儲(chǔ)管理軟件集中管理；能通過(guò)Web、控制臺(tái)、GUI界面等方式對(duì)磁盤(pán)陣列的各項(xiàng)指標(biāo)進(jìn)行管理和調(diào)整； ……,Copyright © 2004-2008, Curtis Inc. Confidential and Pro

5、prietary Information of Curtis, Inc.,用戶(hù)清楚其需要的存儲(chǔ)性能是什么嗎？,招標(biāo)采購(gòu)的存儲(chǔ)系統(tǒng)在真實(shí)應(yīng)用環(huán)境中的性能究竟是多少？不同的業(yè)務(wù)數(shù)據(jù)分別所需的存儲(chǔ)性能是多少？……,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,Agenda,常見(jiàn)的用戶(hù)存儲(chǔ)需求

6、用戶(hù)對(duì)存儲(chǔ)的一些錯(cuò)誤認(rèn)識(shí)：許多磁盤(pán)陣列的性能（IOPS? ）都高于500,000“4Gb光纖+SBOD”盤(pán)陣的性能（IOPS? ）會(huì)比“2Gb光纖+JBOD”盤(pán)陣高100%以上盤(pán)陣中的Cache在所有情況下都能提升存儲(chǔ)性能（IOPS? ）數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)都需要高性能（IOPS? ）分層存儲(chǔ)解決方案TCO分析Curtis公司的“IT系統(tǒng)能力評(píng)估分析和優(yōu)化服務(wù)”當(dāng)今僅有的自動(dòng)、智能化分層存儲(chǔ)：STORAGE CENTER,C

7、opyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,宣稱(chēng)自己磁盤(pán)陣列IOPS達(dá)幾十萬(wàn)、幾百萬(wàn)的比比皆是,,,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc

8、.,同樣配置的磁盤(pán)陣列在不同標(biāo)準(zhǔn)下測(cè)出的IOPS結(jié)果有天壤之別,IOPS測(cè)試結(jié)果數(shù)值大小取決于很多測(cè)試參數(shù)：測(cè)試數(shù)據(jù)的類(lèi)型：順序還是隨機(jī)？測(cè)試數(shù)據(jù)塊的尺寸大小；被測(cè)存儲(chǔ)產(chǎn)品的RAID級(jí)別設(shè)置；被測(cè)存儲(chǔ)產(chǎn)品的磁盤(pán)數(shù)量及轉(zhuǎn)速；……,很多廠(chǎng)商產(chǎn)品彩頁(yè)上公布的IOPS是對(duì)該產(chǎn)品Cache順序讀測(cè)試結(jié)果!,,100%順序讀的IOPS會(huì)比100%隨機(jī)寫(xiě)的IOPS高25倍以上！,Copyright © 2004-2008, Cur

9、tis Inc. Confidential and Proprietary Information of Curtis, Inc.,反映OLTP、數(shù)據(jù)庫(kù)和e-mail等真實(shí)應(yīng)用環(huán)境下的存儲(chǔ)性能是：SPC-1 IOPS?,SPC（存儲(chǔ)性能理事會(huì)）是一個(gè)非贏利的組織，它的成員由幾乎全部的國(guó)外存儲(chǔ)廠(chǎng)商和部分大學(xué)、研究機(jī)構(gòu)組成，其使命是定義、標(biāo)準(zhǔn)化存儲(chǔ)系統(tǒng)的基準(zhǔn)測(cè)試。,SPC-1基準(zhǔn)測(cè)試: 按右表的讀寫(xiě)比例，以不同的數(shù)據(jù)塊尺寸產(chǎn)生I/O數(shù)據(jù)流對(duì)

10、存儲(chǔ)系統(tǒng)進(jìn)行測(cè)試 最好地模擬了聯(lián)機(jī)事務(wù)處理（OLTP）、數(shù)據(jù)庫(kù)和e-mail等真實(shí)應(yīng)用環(huán)境下的存儲(chǔ)性能。SPC Benchmark-1? VisionSPC-1 IOPS? (Maximum Throughput)SPC-1 LRT (Best Response Time @ lite load)Price（每SPC-1 IOPS?的價(jià)格） CapacityData Protection,Copyright ©

11、2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,何處可查各廠(chǎng)商磁盤(pán)存儲(chǔ)系統(tǒng)的存儲(chǔ)性能（SPC-1 IOPS?）？,SPC網(wǎng)站（http://www.storageperformance.org/results/benchmark_results_spc1）上公布了大多數(shù)存儲(chǔ)廠(chǎng)商的磁盤(pán)存儲(chǔ)系統(tǒng)的SPC-1基準(zhǔn)測(cè)試報(bào)告；每份SP

12、C-1基準(zhǔn)測(cè)試報(bào)告包括：SPC和廠(chǎng)商雙方對(duì)SPC-1測(cè)試結(jié)果的簽字認(rèn)可；SPC-1測(cè)試結(jié)果；被測(cè)磁盤(pán)存儲(chǔ)系統(tǒng)的詳細(xì)配置和價(jià)格；被測(cè)磁盤(pán)存儲(chǔ)系統(tǒng)的測(cè)試配置連接圖；測(cè)試詳細(xì)記錄等。,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,如何盡量提高被測(cè)磁盤(pán)陣列的SPC-1 IOPS?測(cè)試值?,

13、SPC-1基準(zhǔn)測(cè)試雖規(guī)定了嚴(yán)格的順序和隨機(jī)讀寫(xiě)比例和數(shù)據(jù)塊尺寸以及在何種磁盤(pán)負(fù)載情況下取值，但沒(méi)有規(guī)定被測(cè)磁盤(pán)陣列使用多少塊磁盤(pán)，也沒(méi)有規(guī)定被測(cè)磁盤(pán)陣列設(shè)置何種RAID級(jí)別。用戶(hù)仔細(xì)閱讀SPC-1基準(zhǔn)測(cè)試報(bào)告就可發(fā)現(xiàn)各廠(chǎng)商都采取以下辦法增加被測(cè)磁盤(pán)陣列的SPC-1 IOPS?值：盡量使用小容量（如36GB、73GB）、高轉(zhuǎn)速（15Krpm）的磁盤(pán)；盡量增加被測(cè)產(chǎn)品的磁盤(pán)數(shù)量；因?yàn)閱螇K磁盤(pán)的容量越小、轉(zhuǎn)速越高則其IOPS值越高，磁盤(pán)數(shù)

14、量越多則通過(guò)RAID0獲得的IOPS值越高； 盡量選擇RAID10設(shè)置，因?yàn)樵诟鞣NRAID級(jí)別中，RAID10的IOPS值最高；,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,一些SPC-1 IOPS?測(cè)試值超過(guò)10萬(wàn)的存儲(chǔ)產(chǎn)品,,,,Copyright © 2004-2008,

15、 Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,當(dāng)今世界不存在SPC-1 IOPS?超過(guò)50萬(wàn)的磁盤(pán)陣列！,除了固態(tài)存儲(chǔ)外，SPC-1 IOPS?測(cè)試值超過(guò)10萬(wàn)的磁盤(pán)陣列只有三個(gè)品牌的六種型號(hào)；總結(jié)所有的SPC-1基準(zhǔn)測(cè)試報(bào)告，從中得出的結(jié)論是：SPC-1 IOPS?測(cè)試值隨被測(cè)存儲(chǔ)產(chǎn)品的磁盤(pán)數(shù)量和轉(zhuǎn)速的增加而線(xiàn)性增長(zhǎng)。,未進(jìn)行SPC-1基準(zhǔn)

16、測(cè)試的高端存儲(chǔ)產(chǎn)品的SPC-1 IOPS?估計(jì)值：Fujitsu Storage Systems ETERNUS8000 Model 2100（最多可容納2760塊磁盤(pán)）：其滿(mǎn)配置的SPC-1 IOPS?估計(jì)值=（2760/664）X 108,745.34=452,013.76EMC DMX-3（最多可容納1920塊FC磁盤(pán)）：其滿(mǎn)配置的SPC-1 IOPS?估計(jì)值=（1920/512）X 123,033.40=461,375.25

17、HDS USP V（最多可容納1152塊磁盤(pán)）：其滿(mǎn)配置的SPC-1 IOPS?估計(jì)值=（1152/512）X 123,033.40=276,825.15,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,小貼士1：算算你所采購(gòu)的磁盤(pán)陣列的真實(shí)性能,根據(jù)SPC網(wǎng)站上公布的你所購(gòu)買(mǎi)磁盤(pán)陣列型號(hào)的

18、SPC-1基準(zhǔn)測(cè)試報(bào)告，你可按下列公式快速地估算所采購(gòu)的磁盤(pán)陣列的真實(shí)性能和可靠性： 所購(gòu)盤(pán)陣的真實(shí)性能（SPC-1 IOPS?）= [實(shí)際采購(gòu)磁盤(pán)陣列的磁盤(pán)轉(zhuǎn)數(shù)（RPM） / SCP-1報(bào)告中被測(cè)磁盤(pán)陣列的磁盤(pán)轉(zhuǎn)數(shù)（RPM）] X [實(shí)際采購(gòu)磁盤(pán)陣列的磁盤(pán)數(shù)量 / SCP-1報(bào)告中被測(cè)磁盤(pán)陣列的磁盤(pán)數(shù)量] X SPC-1報(bào)告中的SPC-1 IOPS?值 可靠性：MTTFarray = MTTFdisk / 實(shí)際采購(gòu)磁盤(pán)陣列的磁盤(pán)

19、數(shù)量,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,小貼士2：為什么SPC網(wǎng)站上沒(méi)有EMC產(chǎn)品的SPC-1測(cè)試報(bào)告？,SPC-1基準(zhǔn)測(cè)試以512 bytes、1K、2K、4K、8K、16K、32K、64K、128K、256K、512K等數(shù)據(jù)塊尺寸，按一定比例產(chǎn)生I/O Stream對(duì)被測(cè)存儲(chǔ)

20、產(chǎn)品進(jìn)行測(cè)試；由于EMC的存儲(chǔ)產(chǎn)品扇區(qū)尺寸為520 bytes，而不是工業(yè)標(biāo)準(zhǔn)的512 bytes；因此EMC的產(chǎn)品在SPC-1基準(zhǔn)測(cè)試時(shí)會(huì)由于數(shù)據(jù)尺寸問(wèn)題而增加額外的操作，致使EMC的產(chǎn)品在SPC-1基準(zhǔn)測(cè)試結(jié)果上吃虧；故EMC后來(lái)退出了SPC。,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, In

21、c.,Agenda,常見(jiàn)的用戶(hù)存儲(chǔ)需求用戶(hù)對(duì)存儲(chǔ)的一些錯(cuò)誤認(rèn)識(shí)：許多磁盤(pán)陣列的性能（IOPS? ）都高于500,000“4Gb光纖+SBOD”盤(pán)陣的性能（IOPS? ）會(huì)比“2Gb光纖+JBOD”盤(pán)陣高100%以上盤(pán)陣中的Cache在所有情況下都能提升存儲(chǔ)性能（IOPS? ）數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)都需要高性能（IOPS? ）分層存儲(chǔ)解決方案TCO分析Curtis公司的“IT系統(tǒng)能力評(píng)估分析和優(yōu)化服務(wù)”當(dāng)今僅有的自動(dòng)、智能化分

22、層存儲(chǔ)：STORAGE CENTER,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,同樣型號(hào)Fujitsu ETERNUS盤(pán)陣在不同主機(jī)接口帶寬配置時(shí)的SPC-1測(cè)試結(jié)果,從SPC網(wǎng)站上找到同一型號(hào)Fujitsu ETERNUS盤(pán)陣在不同主機(jī)接口帶寬配置時(shí)的二個(gè)SPC-1基準(zhǔn)測(cè)試報(bào)告進(jìn)行比對(duì)

23、，得到的結(jié)果如下：,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,同樣型號(hào)IBM DS系列盤(pán)陣在不同硬盤(pán)通道帶寬配置時(shí)的SPC-1測(cè)試結(jié)果,從SPC網(wǎng)站上找到同一型號(hào)IBM的DS系列盤(pán)陣在不同硬盤(pán)通道帶寬配置時(shí)的二個(gè)SPC-1基準(zhǔn)測(cè)試報(bào)告進(jìn)行比對(duì)，得到的結(jié)果如下：,Copyright

24、69; 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,總結(jié)：磁盤(pán)存儲(chǔ)系統(tǒng)的接口帶寬對(duì)IOPS? 的影響,從前面二個(gè)對(duì)比表可以看出：帶寬的成倍提高，只帶來(lái)約6-7%的IOPS? 性能提升。說(shuō)明在OLTP和數(shù)據(jù)庫(kù)應(yīng)用環(huán)境下，IOPS? 受存儲(chǔ)帶寬的影響很小。在OLTP和數(shù)據(jù)庫(kù)應(yīng)用環(huán)境下，提升存儲(chǔ)帶寬對(duì)改善IOPS?不明顯的原

25、因是： “木桶”原理、短板效應(yīng)。 在磁盤(pán)陣列這個(gè)整體中，磁盤(pán)本身的性能是其中“最短的一塊板”。,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,以身試“法”的客戶(hù)：失敗的硬件升級(jí)改造案例（1/2）,北京某知名外資醫(yī)院因業(yè)務(wù)部門(mén)抱怨HIS系統(tǒng)的響應(yīng)時(shí)間越來(lái)越慢，而對(duì)HIS系統(tǒng)進(jìn)行升級(jí)改造的案例

26、。 用戶(hù)系統(tǒng)的硬件：DELL 2650 Server (2X1.8GHz Xeon CPU，2GB的內(nèi)存，2X18GB硬盤(pán)做鏡像)；DELL 220S SCSI磁盤(pán)陣列（14X18GB硬盤(pán)做RAID-5）。 用戶(hù)系統(tǒng)的軟件：OS：Microsoft 2000 server，數(shù)據(jù)庫(kù)：Microsoft SQL server，應(yīng)用軟件：行業(yè)內(nèi)成熟的HIS軟件。 第一次升級(jí)改造：購(gòu)買(mǎi)高性能指標(biāo)的服務(wù)器和盤(pán)陣 換服務(wù)器：換成DELL 6

27、850 Server，CPU 從2個(gè)增加到4個(gè)，主頻從1.8 GHz變成3.4 GHz，內(nèi)存從2GB擴(kuò)充到4GB。 換存儲(chǔ)設(shè)備：SCSI盤(pán)陣太慢，換成2Gb Fibre光纖盤(pán)陣，加上2Gb的光纖交換機(jī)，采用最新的SAN存儲(chǔ)結(jié)構(gòu)技術(shù)，采用DELL推薦的中小企業(yè)用盤(pán)陣AX150（雙控、7X500GB SATA 硬盤(pán)，共3.5TB的容量），連同數(shù)據(jù)備份一并解決。第二次升級(jí)改造：應(yīng)用軟件優(yōu)化軟件公司盡了力，但應(yīng)用性能仍然改善不明顯。為撇清

28、干系，軟件公司找了一高人，檢測(cè)后確定還是硬件問(wèn)題，是存儲(chǔ)的I/O性能差，問(wèn)題又推到存儲(chǔ)上！,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,以身試“法”的客戶(hù)：失敗的硬件升級(jí)改造案例（2/2）,第三次升級(jí)改造：優(yōu)化存儲(chǔ)的I/O性能 DELL的工程師對(duì)DELL/EMC盤(pán)陣上的系統(tǒng)版本升級(jí)并打新

29、的補(bǔ)丁，不見(jiàn)效果；找來(lái)公司資深存儲(chǔ)工程師一起研究、繼續(xù)找問(wèn)題，最后換了一個(gè)高級(jí)技術(shù)經(jīng)理到用戶(hù)現(xiàn)場(chǎng)，看了后說(shuō)：“你這個(gè)AX150盤(pán)陣規(guī)格太低，只適合做備份，不適合做OLTP應(yīng)用，應(yīng)該使用更高檔的全光纖盤(pán)陣，應(yīng)該就沒(méi)有問(wèn)題?！?第四次升級(jí)改造：更換4Gb的光纖盤(pán)陣更換更高指標(biāo)的存儲(chǔ)設(shè)備DELL/EMC CX3-20，帶寬是4個(gè)4Gb，共16Gb的帶寬，盤(pán)陣Cache是4GB，硬盤(pán)使用8塊300GB的4Gb光纖硬盤(pán)，DELL 6850服務(wù)

30、器上再加兩塊4Gb的FC HBA卡，更換4Gb的光纖交換機(jī)。服務(wù)器的內(nèi)存增加到8GB。 這個(gè)用戶(hù)升級(jí)改造的案例中，那里出了問(wèn)題？為什么越改造越慢？,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,Agenda,常見(jiàn)的用戶(hù)存儲(chǔ)需求用戶(hù)對(duì)存儲(chǔ)的一些錯(cuò)誤認(rèn)識(shí)：許多磁盤(pán)陣列的性能（IOPS? ）

31、都高于500,000“4Gb光纖+SBOD”盤(pán)陣的性能（IOPS? ）會(huì)比“2Gb光纖+JBOD”盤(pán)陣高100%以上盤(pán)陣中的Cache在所有情況下都能提升存儲(chǔ)性能（IOPS? ）數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)都需要高性能（IOPS? ）分層存儲(chǔ)解決方案TCO分析Curtis公司的“IT系統(tǒng)能力評(píng)估分析和優(yōu)化服務(wù)”當(dāng)今僅有的自動(dòng)、智能化分層存儲(chǔ)：STORAGE CENTER,Copyright © 2004-2008, Curt

32、is Inc. Confidential and Proprietary Information of Curtis, Inc.,Fujitsu ETERNUS3000 Model700的SPC-1測(cè)試結(jié)果,,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,Fujitsu ETERNUS60

33、00 Model1100的SPC-1測(cè)試結(jié)果,,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,不同Cache大小的Fujitsu ETERNUS盤(pán)陣SPC-1測(cè)試結(jié)果的比較,Copyright © 2004-2008, Curtis Inc. Confidential and P

34、roprietary Information of Curtis, Inc.,IBM TotalStorage® DS4800的SPC-1測(cè)試結(jié)果,測(cè)試日期,測(cè)試結(jié)果,,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,IBM TotalStorage® DS8300的SP

35、C-1測(cè)試結(jié)果,測(cè)試日期,測(cè)試結(jié)果,,,,,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,不同Cache大小的IBM DS盤(pán)陣SPC-1測(cè)試結(jié)果的比較,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary

36、Information of Curtis, Inc.,同品牌不同Cache大小的盤(pán)陣SPC-1測(cè)試結(jié)果的對(duì)比結(jié)論,磁盤(pán)陣列的性能（ IOPS?）隨盤(pán)陣磁盤(pán)數(shù)量和轉(zhuǎn)速增加的比例而同比例地增加；大比例增加磁盤(pán)陣列的Cache，并無(wú)法使盤(pán)陣性能（ IOPS?）獲得同比例的增加。在聯(lián)機(jī)事務(wù)處理（OLTP）、數(shù)據(jù)庫(kù)和e-mail等真實(shí)應(yīng)用環(huán)境下，磁盤(pán)陣列的性能（ IOPS?）受盤(pán)陣Cache大小的影響很小。原因同樣是：“木桶”原理，短板效

37、應(yīng)。,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,Agenda,常見(jiàn)的用戶(hù)存儲(chǔ)需求用戶(hù)對(duì)存儲(chǔ)的一些錯(cuò)誤認(rèn)識(shí)：許多磁盤(pán)陣列的性能（IOPS? ）都高于500,000“4Gb光纖+SBOD”盤(pán)陣的性能（IOPS? ）會(huì)比“2Gb光纖+JBOD”盤(pán)陣高100%以上盤(pán)陣中的Cache在所有

38、情況下都能提升存儲(chǔ)性能（IOPS? ）數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)都需要高性能（IOPS? ）分層存儲(chǔ)解決方案TCO分析Curtis公司的“IT系統(tǒng)能力評(píng)估分析和優(yōu)化服務(wù)”當(dāng)今僅有的自動(dòng)、智能化分層存儲(chǔ)：STORAGE CENTER,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,多數(shù)交易頻繁應(yīng)

39、用的I/O來(lái)自于小部分?jǐn)?shù)據(jù),所有數(shù)據(jù)庫(kù)廠(chǎng)商的性能Tuning手冊(cè)或白皮書(shū)都告誡用戶(hù)：需要把數(shù)據(jù)庫(kù)中 temp tables, redo logs等單獨(dú)存儲(chǔ)于由盡量多的物理磁盤(pán)組成的邏輯卷上(雖然這些文件都很小)；原因：這些數(shù)據(jù)庫(kù)文件會(huì)被頻繁訪(fǎng)問(wèn)，需要較高的存儲(chǔ)性能（IOPS?），是“hot files”。,,Cold = 80% bulk disk,Warm = 17-19% cache disk,,,,% of total ac

40、cesses,0,100,% of total data,Hot = 1-3% SSD,100,通常的“Hot Files”：Databases: temp tables, redo logs, etc. E-mail: message queues, etc.“Hot Files”的存在，造成運(yùn)行交易頻繁應(yīng)用的服務(wù)器總是等待I/O的完成，形成I/O瓶頸?！癏ot Files”要求的存儲(chǔ)性能（IOPS?）最高；“Warm F

41、iles” 要求的存儲(chǔ)性能（IOPS?）次之；大部分?jǐn)?shù)據(jù)（Cold Files）對(duì)IOPS?的要求很低。,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,案例一：某省郵儲(chǔ)OLTP系統(tǒng)的能力評(píng)估分析和優(yōu)化 (1/5),硬件：IBM p690雙機(jī)（8 x 1.1 GHz CPU，16GB內(nèi)存

42、）；EMC Symmetrix（ 226塊 FC Disk）盤(pán)陣；軟件：應(yīng)用軟件：中聯(lián)銀行核心業(yè)務(wù)系統(tǒng)軟件 ；數(shù)據(jù)庫(kù)：Oracle v9.2.0.4； 問(wèn)題：在每天的營(yíng)業(yè)時(shí)段，營(yíng)業(yè)網(wǎng)點(diǎn)柜臺(tái)用戶(hù)的請(qǐng)求響應(yīng)普遍緩慢，嚴(yán)重地影響業(yè)務(wù)處理和客戶(hù)服務(wù)。,,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis,

43、 Inc.,案例一：某省郵儲(chǔ)OLTP系統(tǒng)的能力評(píng)估分析和優(yōu)化(2/5),通過(guò)對(duì)用戶(hù)p690服務(wù)器和連接服務(wù)器存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)采樣并分析經(jīng)UNIX工具獲取的硬件資源利用率的負(fù)荷，可確認(rèn)：服務(wù)器CPU的數(shù)量和處理能力可以滿(mǎn)足當(dāng)前業(yè)務(wù)的需求；系統(tǒng)盤(pán)SWAP區(qū)沒(méi)有頁(yè)面的換入/換出，說(shuō)明內(nèi)存也能滿(mǎn)足當(dāng)前業(yè)務(wù)的需求；存儲(chǔ)系統(tǒng)的I/O吞吐能力無(wú)法達(dá)到應(yīng)用對(duì)數(shù)據(jù)訪(fǎng)問(wèn)的要求，形成I/O瓶頸。,,Copyright © 2004-2008,

44、 Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,案例一：某省郵儲(chǔ)OLTP系統(tǒng)的能力評(píng)估分析和優(yōu)化(3/5),EMC工程師已經(jīng)充分地利用了用戶(hù)盤(pán)陣所擁有的226塊光纖盤(pán)：將數(shù)據(jù)充分分散，使每塊磁盤(pán)都不過(guò)載； 但有相當(dāng)數(shù)量的磁盤(pán)或鏡像對(duì)（hdiskpower）接近過(guò)載。,,,,Copyright © 2004-2008, Curtis In

45、c. Confidential and Proprietary Information of Curtis, Inc.,案例一：某省郵儲(chǔ)OLTP系統(tǒng)的能力評(píng)估分析和優(yōu)化(4/5),通過(guò)對(duì)ORACLE的分析發(fā)現(xiàn)：OLTP應(yīng)用對(duì)數(shù)據(jù)庫(kù)中各個(gè)表空間的訪(fǎng)問(wèn)是不均衡的；OLTP應(yīng)用對(duì)數(shù)據(jù)庫(kù)中CPEA_SNAP和BAS_DT2兩個(gè)表空間的讀操作幾乎占對(duì)數(shù)據(jù)庫(kù)總讀操作的50% 。某省郵儲(chǔ)OLTP系統(tǒng)性能差的原因：OLTP對(duì)某些數(shù)據(jù)庫(kù)文件的過(guò)度訪(fǎng)

46、問(wèn)超出了EMC磁盤(pán)陣列的I/O能力，產(chǎn)生I/O瓶頸。,,,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,案例一：某省郵儲(chǔ)OLTP系統(tǒng)的能力評(píng)估分析和優(yōu)化(5/5),解決方案 ：分層存儲(chǔ)將被OLTP過(guò)度訪(fǎng)問(wèn)的那些表空間，如：CPEA_SNAP、BAS_DT2和BIG_IDX1等，從EMC磁

47、盤(pán)陣列中遷移到高性能的存儲(chǔ)設(shè)備（如固態(tài)存儲(chǔ)：SSD）上存儲(chǔ)，則磁盤(pán)陣列的I/O瓶頸問(wèn)題就可非常簡(jiǎn)單地迎刃而解。,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,案例二：某省社保系統(tǒng)性能評(píng)估分析和優(yōu)化（1/5）,某省社保系統(tǒng)的硬件：Server：6臺(tái)HP GS80 Server Cluste

48、rCPU: 8 X 1.224 GHz Alpha EV68Memory: 8GB存儲(chǔ)：HP StorageWorks XP1024磁盤(pán)陣列磁盤(pán)總數(shù)和類(lèi)型： 40 x 47GB 10K rpm Disks + 48 x 73GB 10K rpm Disks + 36 x 146GB 10K rpm Disks 64GB Cache軟件：數(shù)據(jù)庫(kù): Oracle應(yīng)用: 北控偉仕勞動(dòng)和社保解決方案（B/S架構(gòu)，近1500客戶(hù)端

49、）挑戰(zhàn)：處理一個(gè)業(yè)務(wù)的時(shí)間越來(lái)越長(zhǎng)，導(dǎo)致客戶(hù)的排隊(duì)和不滿(mǎn)，每月16-25日客戶(hù)交報(bào)表時(shí)間尤其嚴(yán)重；出現(xiàn)客戶(hù)端無(wú)法登錄情況……,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,案例二：某省社保系統(tǒng)性能評(píng)估分析和優(yōu)化（2/5）,通過(guò)6月21日對(duì)用戶(hù)HP GS80服務(wù)器和連接服務(wù)器存儲(chǔ)系統(tǒng)進(jìn)

50、行24小時(shí)的數(shù)據(jù)采樣獲取硬件資源利用率的負(fù)荷，并初步分析，可看到：服務(wù)器CPU的數(shù)量和處理能力可以滿(mǎn)足當(dāng)前業(yè)務(wù)的需求；,1號(hào)機(jī),2號(hào)機(jī),3號(hào)機(jī),4號(hào)機(jī),5號(hào)機(jī),6號(hào)機(jī),Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,案例二：某省社保系統(tǒng)性能評(píng)估分析和優(yōu)化（3/5）,一號(hào)HP GS80 SER

51、VER對(duì)的Oracle的訪(fǎng)問(wèn)統(tǒng)計(jì),,,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,案例二：某省社保系統(tǒng)性能評(píng)估分析和優(yōu)化（4/5）,五號(hào)HP GS80 SERVER對(duì)的Oracle的訪(fǎng)問(wèn)統(tǒng)計(jì),,,,Copyright © 2004-2008, Curtis Inc. Confid

52、ential and Proprietary Information of Curtis, Inc.,案例二：某省社保系統(tǒng)性能評(píng)估分析和優(yōu)化（5/5）,解決方案 ：分層存儲(chǔ)由于社保應(yīng)用對(duì)數(shù)據(jù)庫(kù)中各個(gè)表空間的訪(fǎng)問(wèn)是不均衡的，對(duì)VCDATA和VCIND二個(gè)表空間的訪(fǎng)問(wèn)就超過(guò)總訪(fǎng)問(wèn)量的80%。因此將VCDATA和VCIND二個(gè)表空間從HP XP1024磁盤(pán)陣列中遷移到高性能的存儲(chǔ)設(shè)備（如固態(tài)存儲(chǔ)：SSD）上存儲(chǔ)，則磁盤(pán)陣列的I/O瓶頸問(wèn)題

53、就可非常簡(jiǎn)單地迎刃而解。,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,數(shù)據(jù)庫(kù)中的不同數(shù)據(jù)對(duì)存儲(chǔ)性能（IOPS?）的需求是不同的,數(shù)據(jù)庫(kù)廠(chǎng)商的技術(shù)文檔和眾多的應(yīng)用實(shí)例已經(jīng)清楚地告訴了用戶(hù)：多數(shù)應(yīng)用的數(shù)據(jù)庫(kù)中只有少部分?jǐn)?shù)據(jù)需要高存儲(chǔ)性能（IOPS?），大部分?jǐn)?shù)據(jù)對(duì)存儲(chǔ)性能（IOPS?）的要求

54、較低；在OLTP、數(shù)據(jù)庫(kù)應(yīng)用環(huán)境下，以下二種提升存儲(chǔ)性能（IOPS?）的方式中，哪種方式更加經(jīng)濟(jì)合理，用戶(hù)應(yīng)該好好算一算帳：增加存儲(chǔ)系統(tǒng)中磁盤(pán)數(shù)量來(lái)提升存儲(chǔ)性能（IOPS?），以滿(mǎn)足少部分?jǐn)?shù)據(jù)對(duì)高性能（IOPS?）的需求；在存儲(chǔ)系統(tǒng)中增加固態(tài)存儲(chǔ)（SSD），并按數(shù)據(jù)對(duì)IOPS?的需求實(shí)施分層存儲(chǔ)。,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietar

55、y Information of Curtis, Inc.,用戶(hù)對(duì)存儲(chǔ)的一些錯(cuò)誤認(rèn)識(shí)的總結(jié),許多磁盤(pán)陣列的性能（IOPS? ）都高于500,000實(shí)際情況是：當(dāng)今世界不存在IOPS? 超過(guò)500,000的磁盤(pán)存儲(chǔ)系統(tǒng)！磁盤(pán)陣列帶寬的成倍提升也會(huì)使磁盤(pán)陣列的性能（IOPS? ）相應(yīng)成比例地得到提升實(shí)際情況是：在OLTP和數(shù)據(jù)庫(kù)應(yīng)用環(huán)境下， 存儲(chǔ)性能（IOPS?）受存儲(chǔ)帶寬的影響很小。磁盤(pán)陣列中的Cache在所有情況下都能提升存儲(chǔ)的

56、性能實(shí)際情況是：在OLTP和數(shù)據(jù)庫(kù)應(yīng)用環(huán)境下，存儲(chǔ)性能（ IOPS?）受磁盤(pán)陣列中Cache大小的影響很小！數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)都需要高性能（ IOPS?）實(shí)際情況是：多數(shù)應(yīng)用只有數(shù)據(jù)庫(kù)中的少數(shù)數(shù)據(jù)需要高存儲(chǔ)性能（ IOPS?）！,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,Agend

57、a,常見(jiàn)的用戶(hù)存儲(chǔ)需求用戶(hù)對(duì)存儲(chǔ)的一些錯(cuò)誤認(rèn)識(shí)：許多磁盤(pán)陣列的性能（IOPS? ）都高于500,000“4Gb光纖+SBOD”盤(pán)陣的性能（IOPS? ）會(huì)比“2Gb光纖+JBOD”盤(pán)陣高100%以上盤(pán)陣中的Cache在所有情況下都能提升存儲(chǔ)性能（IOPS? ）數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)都需要高性能（IOPS? ）分層存儲(chǔ)解決方案TCO分析Curtis公司的“IT系統(tǒng)能力評(píng)估分析和優(yōu)化服務(wù)”當(dāng)今僅有的自動(dòng)、智能化分層存儲(chǔ)：STOR

58、AGE CENTER,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,滿(mǎn)足大多數(shù)應(yīng)用對(duì)存儲(chǔ)性能需求的最佳選擇是分層存儲(chǔ),實(shí)施分層存儲(chǔ)的依據(jù)：并非所有數(shù)據(jù)全需要高性能：通常情況只有不到5%的數(shù)據(jù)需要極高的IOPS，20%的數(shù)據(jù)需要一定的IOPS，其余數(shù)據(jù)很少被訪(fǎng)問(wèn)到（對(duì)IOPS的需求極低）；

59、不同存儲(chǔ)介質(zhì)的IOPS不同；不同轉(zhuǎn)速的磁盤(pán)、不同RAID級(jí)別設(shè)置所提供的IOPS也不同。,實(shí)施分層存儲(chǔ)的目的：滿(mǎn)足存儲(chǔ)需求的同時(shí)降低TCO,,,,存儲(chǔ)介質(zhì)的價(jià)格：$/GB,高,高,存儲(chǔ)介質(zhì)的性能：IOPS存儲(chǔ)介質(zhì)的可靠性,FC SSDRAID 10RAID 5,FC or SASRAID 10RAID 5,Mid-Tier FCRAID 10RAID 5,SATARAID 10RAID 5,Tape,Copyright

60、 © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,用戶(hù)存儲(chǔ)需求和三種存儲(chǔ)解決方案的PK,用戶(hù)存儲(chǔ)需求假定：OLTP業(yè)務(wù)應(yīng)用，數(shù)據(jù)庫(kù)的數(shù)據(jù)量約1TB，需考慮生產(chǎn)數(shù)據(jù)快照所需的容量，以一定的業(yè)務(wù)連續(xù)性 ；數(shù)據(jù)庫(kù)的少部分?jǐn)?shù)據(jù)I/O需求達(dá)45,000 IOPS? ，其余大部分?jǐn)?shù)據(jù)對(duì)I/O的要求很低。,三種存儲(chǔ)解決方案

61、：方案一：采用IBM DS4800進(jìn)行SPC-1基準(zhǔn)測(cè)試時(shí)所用配置，2 X RAID Controller with 2GB Cache224 X 73GB 15K rpm FC Disks，RAID10配置，可用存儲(chǔ)容量8TB，IOPS?高達(dá)45,000。方案二：用戶(hù)不清楚磁盤(pán)數(shù)量與IOPS?的關(guān)系，故采用5TB常規(guī)的IBM DS4800配置，2 X RAID Controller with 2GB Cache15 X 300

62、GB 10K rpm FC Disks安裝在一個(gè)EXP810 SBOD中，設(shè)為RAID10，為生產(chǎn)數(shù)據(jù)提供2.1TB存儲(chǔ)容量； 14 X 500GB 7.2K rpm SATA Disks安裝在一個(gè)EXP100 JBOD中，RAID10配置，為快照提供3TB存儲(chǔ)容量。方案三：分層存儲(chǔ)解決方案：通常的5TB IBM DS4800配置 + 10X12GB固態(tài)硬盤(pán)，2 X RAID Controller with 2GB Cache15

63、 X 300GB 10K rpm FC Disks安裝在一個(gè)EXP810 SBOD中，設(shè)為RAID10，為生產(chǎn)數(shù)據(jù)提供2.1TB存儲(chǔ)容量； 14 X 500GB 7.2K rpm SATA Disks安裝在一個(gè)EXP100 JBOD中，RAID10配置，為快照提供3TB存儲(chǔ)容量；10 X 12GB SSD盤(pán)安裝在一個(gè)EXP810 SBOD中，設(shè)為RAID10，為對(duì)IOPS?要求高的少部分?jǐn)?shù)據(jù)提供60GB存儲(chǔ)容量。,Copyright

64、 © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,三種存儲(chǔ)解決方案的PK,方案一：IBM DS4800 SPC-1測(cè)試配置,方案二：IBM DS4800 5TB常規(guī)配置,方案三：IBM DS4800 5TB分層存儲(chǔ)配置,PK,PK,Copyright © 2004-2008, Curtis Inc

65、. Confidential and Proprietary Information of Curtis, Inc.,三種存儲(chǔ)解決方案的TCO分析,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,三種存儲(chǔ)解決方案的PK結(jié)果,方案一：完全滿(mǎn)足用戶(hù)對(duì)存儲(chǔ)容量和性能的需求；雖實(shí)施簡(jiǎn)單，但造價(jià)昂貴：磁

66、盤(pán)的價(jià)格占了整個(gè)存儲(chǔ)系統(tǒng)總價(jià)的65%。 方案二：只能滿(mǎn)足用戶(hù)對(duì)存儲(chǔ)容量的需求，而無(wú)法滿(mǎn)足存儲(chǔ)性能的需求；用戶(hù)選擇此方案是錯(cuò)誤地認(rèn)為無(wú)論什么配置的IBM DS4800都有45,000 IOPS?的存儲(chǔ)性能。其實(shí)磁盤(pán)存儲(chǔ)系統(tǒng)的性能在OLTP和數(shù)據(jù)庫(kù)應(yīng)用環(huán)境下主要取決于其配置的磁盤(pán)數(shù)量和轉(zhuǎn)速，IBM DS4800只有配滿(mǎn)224塊15K rpm的磁盤(pán)才能達(dá)到45,000 IOPS?的性能。用戶(hù)如實(shí)施此方案，其結(jié)果只能是應(yīng)用性能極差，進(jìn)而導(dǎo)

67、致業(yè)務(wù)部門(mén)的投訴。而許多用戶(hù)規(guī)劃/設(shè)計(jì)存儲(chǔ)系統(tǒng)時(shí)，卻恰恰做了這種錯(cuò)誤的選擇。 方案三：同時(shí)滿(mǎn)足用戶(hù)對(duì)存儲(chǔ)容量和性能的需求，且造價(jià)合理、經(jīng)濟(jì)（價(jià)格還不到“方案一”的一半）。 實(shí)施分層存儲(chǔ)解決方案的關(guān)鍵：了解數(shù)據(jù)對(duì)IOPS?的需求分布。,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,,It’

68、s FREE!,Agenda,常見(jiàn)的用戶(hù)存儲(chǔ)需求用戶(hù)對(duì)存儲(chǔ)的一些錯(cuò)誤認(rèn)識(shí)：許多磁盤(pán)陣列的性能（IOPS? ）都高于500,000“4Gb光纖+SBOD”盤(pán)陣的性能（IOPS? ）會(huì)比“2Gb光纖+JBOD”盤(pán)陣高100%以上盤(pán)陣中的Cache在所有情況下都能提升存儲(chǔ)性能（IOPS? ）數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)都需要高性能（IOPS? ）分層存儲(chǔ)解決方案TCO分析Curtis公司的“IT系統(tǒng)能力評(píng)估分析和優(yōu)化服務(wù)”當(dāng)今僅有的自動(dòng)

69、、智能化分層存儲(chǔ)：STORAGE CENTER,Copyright © 2004-2008, Curtis Inc. Confidential and Proprietary Information of Curtis, Inc.,當(dāng)你面臨下列問(wèn)題時(shí)，請(qǐng)尋求CURTIS的“IT系統(tǒng)能力評(píng)估分析和優(yōu)化服務(wù)”！,你負(fù)責(zé)的IT系統(tǒng)被業(yè)務(wù)部門(mén)抱怨太慢了嗎？你希望加速嗎？你是否希望提升IT系統(tǒng)響應(yīng)速度？但不知如何提速？ 你是否面臨各