基于Flash混合存儲(chǔ)的電子商務(wù)數(shù)據(jù)庫(kù)性能優(yōu)化研究.pdf

1、當(dāng)前電子商務(wù)的發(fā)展態(tài)勢(shì)如火如荼，交易規(guī)模越來越大，導(dǎo)致了海量的電子商務(wù)數(shù)據(jù)，使得電子商務(wù)數(shù)據(jù)庫(kù)的讀寫、更新和查詢等性能提升變得越來越困難。當(dāng)前主要的解決方案都已接近了數(shù)據(jù)庫(kù)系統(tǒng)性能優(yōu)化的極限。而Flash存儲(chǔ)技術(shù)的發(fā)展為解決上述問題帶來了新機(jī)遇，其超過磁盤100倍的I/O性能可以作為突破數(shù)據(jù)庫(kù)性能優(yōu)化瓶頸的方法。因此本文將從底層存儲(chǔ)技術(shù)研究入手，兼顧上層軟件算法來實(shí)現(xiàn)提升電子商務(wù)數(shù)據(jù)庫(kù)在海量數(shù)據(jù)環(huán)境下的運(yùn)行性能。
　　 研究發(fā)現(xiàn)

2、，F(xiàn)lash芯片的順序讀寫和隨機(jī)讀取速度都遠(yuǎn)快于磁盤，但是隨機(jī)寫入和更新性能不足，且芯片價(jià)格較高。因此本文提出采用Flash和磁盤混合存儲(chǔ)系統(tǒng)，既可以綜合利用兩者各自的優(yōu)勢(shì)，又可以兼顧設(shè)備價(jià)格成本。但是基于混合存儲(chǔ)系統(tǒng)的數(shù)據(jù)庫(kù)部署方案目前尚無系統(tǒng)的研究。本文探索了基于混合存儲(chǔ)系統(tǒng)的電子商務(wù)數(shù)據(jù)庫(kù)性能優(yōu)化，研究成果豐富了現(xiàn)有電子商務(wù)數(shù)據(jù)庫(kù)的研究?jī)?nèi)容，對(duì)電子商務(wù)企業(yè)的發(fā)展具有重要的現(xiàn)實(shí)指導(dǎo)意義。
　　 本論文的研究?jī)?nèi)容主要有:

3、>　　 (1)基于混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型的構(gòu)建。從適合電子商務(wù)企業(yè)應(yīng)用的角度出發(fā)，在數(shù)據(jù)庫(kù)表和屬性兩個(gè)層面上構(gòu)建了差異存儲(chǔ)模型，并設(shè)計(jì)了判斷表和屬性數(shù)據(jù)讀寫敏感性和冷熱性的閾值算法，實(shí)現(xiàn)了表及屬性數(shù)據(jù)的讀寫敏感性和冷熱性分析以及遷移存儲(chǔ)方案。
　　 (2)基于混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型的查詢性能優(yōu)化研究。消費(fèi)者使用電子商務(wù)平臺(tái)時(shí)需要進(jìn)行大量的數(shù)據(jù)庫(kù)查詢操作，因而確保并提高電子商務(wù)數(shù)據(jù)庫(kù)的查詢性能對(duì)于保證電子商務(wù)企業(yè)運(yùn)營(yíng)質(zhì)量

4、至關(guān)重要。本文首先設(shè)計(jì)研究了HS-Join算法用于提高存儲(chǔ)于不同存儲(chǔ)介質(zhì)的、以表為單位的多表連接查詢性能;其次設(shè)計(jì)研究了PHS-Join算法，在Flash設(shè)備上提取主鍵列和連接列建立連接子表并基于子表重構(gòu)整體連接表。實(shí)驗(yàn)表明了兩種算法能夠明顯提高電子商務(wù)數(shù)據(jù)庫(kù)的查詢性能。
　　 (3)基于混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型的事務(wù)處理性能優(yōu)化研究。電子商務(wù)數(shù)據(jù)庫(kù)的事務(wù)處理性能是電子商務(wù)企業(yè)提高響應(yīng)能力，維護(hù)更多消費(fèi)者人數(shù)，并在同一時(shí)間內(nèi)滿

5、足每位消費(fèi)者個(gè)性化需求的重要技術(shù)基礎(chǔ)。本文以O(shè)racle數(shù)據(jù)庫(kù)為例，首先分析了事務(wù)處理過程中大量的臨時(shí)數(shù)據(jù)和日志數(shù)據(jù)的讀寫敏感性及冷熱性，確定了將這兩類文件遷移存儲(chǔ)到Flash設(shè)備中。其次根據(jù)日志文件增長(zhǎng)迅速的特點(diǎn)，提出了DynamicLogging方法，當(dāng)Flash空間不足時(shí)，日志記錄可以實(shí)現(xiàn)分散存儲(chǔ)。實(shí)驗(yàn)表明上述管理方法明顯提高了電子商務(wù)數(shù)據(jù)庫(kù)的事務(wù)并發(fā)性能。
　　 (4)基于混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型的數(shù)據(jù)倉(cāng)庫(kù)性能優(yōu)化研究

6、。優(yōu)化電子商務(wù)數(shù)據(jù)倉(cāng)庫(kù)的查詢分析性能是電子商務(wù)企業(yè)更快速、更準(zhǔn)確地作出商業(yè)決策的技術(shù)基礎(chǔ)。本文首先提出了采用列存儲(chǔ)方案，并提出了列遷移存儲(chǔ)算法，提高了決策所需屬性數(shù)據(jù)的查詢效率。此外針對(duì)數(shù)據(jù)倉(cāng)庫(kù)中多屬性關(guān)聯(lián)分析時(shí)連接代價(jià)大的問題，提出了行列混合存儲(chǔ)方法，通過提前固化減少了連接代價(jià)。最后提出了數(shù)據(jù)差異化壓縮存儲(chǔ)方案，既保障了數(shù)據(jù)的查詢效率，又充分利用了磁盤的存儲(chǔ)空間。
　　 本論文的創(chuàng)新點(diǎn)和主要貢獻(xiàn)有:
　　 (1)本文從

7、電子商務(wù)企業(yè)角度考慮其經(jīng)濟(jì)可行和技術(shù)可行兩個(gè)方面，提出了在電子商務(wù)數(shù)據(jù)庫(kù)中采用混合存儲(chǔ)系統(tǒng)，并從表和屬性兩個(gè)層面構(gòu)建了差異存儲(chǔ)模型。既有利于電子商務(wù)企業(yè)應(yīng)用實(shí)現(xiàn)，又能滿足用戶對(duì)響應(yīng)速度可感知的要求。
　　 (2)本文提出了適合混合存儲(chǔ)系統(tǒng)查詢的HS-Join算法和PHS-Join算法，充分利用了Flash的隨機(jī)讀取優(yōu)勢(shì)，提高了電子商務(wù)數(shù)據(jù)庫(kù)的查詢性能;提出了數(shù)據(jù)庫(kù)相關(guān)文件在混合存儲(chǔ)系統(tǒng)中的部署方案，極大提高了數(shù)據(jù)庫(kù)的事務(wù)處理性能