面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)研究與應(yīng)用.pdf

1、計(jì)算機(jī)應(yīng)用的不斷發(fā)展導(dǎo)致了數(shù)據(jù)量的急劇攀升，由于數(shù)據(jù)結(jié)構(gòu)化過(guò)于受限于人工處理，非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)速度遠(yuǎn)遠(yuǎn)大于結(jié)構(gòu)化數(shù)據(jù)。如何存儲(chǔ)應(yīng)用系統(tǒng)中需要處理的非結(jié)構(gòu)化數(shù)據(jù)，包括文本、圖像、音頻、視頻、PDF、電子表格等，是常常困擾系統(tǒng)設(shè)計(jì)人員的問(wèn)題。非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)通常有兩種方式，一是使用文件系統(tǒng)以文件的方式存儲(chǔ)，將文件的路徑或者鏈接存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)表中。這種存儲(chǔ)方式的優(yōu)點(diǎn)是數(shù)據(jù)的讀寫(xiě)速度快，缺點(diǎn)是數(shù)據(jù)的管理不方便，并且還需要考慮數(shù)據(jù)的安全性

2、和事務(wù)處理的一致性;另一種是將這些數(shù)據(jù)存儲(chǔ)在傳統(tǒng)的數(shù)據(jù)庫(kù)表的大對(duì)象字段中，這種方式充分利用數(shù)據(jù)庫(kù)的事務(wù)、管理和安全性，但是可能帶來(lái)數(shù)據(jù)查詢(xún)和讀寫(xiě)上的性能問(wèn)題。這就促使我們要對(duì)海量非結(jié)構(gòu)數(shù)據(jù)的存儲(chǔ)進(jìn)行研究和分析。
　　云存儲(chǔ)是網(wǎng)格、并行和分布式計(jì)算等眾多技術(shù)發(fā)展和延伸，云存儲(chǔ)實(shí)現(xiàn)了存儲(chǔ)的完全虛擬化，提供更強(qiáng)大的存儲(chǔ)及共享功能。制約非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的關(guān)鍵因素是，數(shù)據(jù)中心與異構(gòu)終端之間的數(shù)據(jù)共享程度不夠高，存儲(chǔ)系統(tǒng)的高并發(fā)讀寫(xiě)能力欠缺，

3、存儲(chǔ)系統(tǒng)的線(xiàn)性擴(kuò)展能力比較差。本文以云存儲(chǔ)、NoSQL技術(shù)等相關(guān)領(lǐng)域?yàn)檠芯勘尘?，提出面向云存?chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案，將數(shù)據(jù)分布到云中進(jìn)行分節(jié)點(diǎn)處理，這樣做不僅降低成本，而且提高數(shù)據(jù)的存儲(chǔ)能力。
　　論文首先論述了非結(jié)構(gòu)數(shù)據(jù)的存儲(chǔ)現(xiàn)狀及云存儲(chǔ)的發(fā)展前景，研究了非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)方式，探討了當(dāng)前存儲(chǔ)方式的特點(diǎn)和不足。接著研究了云環(huán)境下的三種存儲(chǔ)技術(shù)，并對(duì)云環(huán)境下新型數(shù)據(jù)庫(kù)技術(shù)NoSQL以及非關(guān)系型數(shù)據(jù)庫(kù)MongoDB進(jìn)行了論述，結(jié)合

4、非結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)、云存儲(chǔ)的優(yōu)勢(shì)以及MongoDB的數(shù)據(jù)存儲(chǔ)特性，提出非結(jié)構(gòu)化數(shù)據(jù)云存儲(chǔ)的必要性?；诋?dāng)前流行的hadoop云平臺(tái)，設(shè)計(jì)了非結(jié)構(gòu)化數(shù)據(jù)的云存儲(chǔ)平臺(tái)。在此平臺(tái)中，將非結(jié)構(gòu)化數(shù)據(jù)與其元數(shù)據(jù)信息進(jìn)行分離式存儲(chǔ)，非結(jié)構(gòu)化數(shù)據(jù)以文件的方式存儲(chǔ)在HDFS分布式文件系統(tǒng)中，元數(shù)據(jù)信息改用MongoDB進(jìn)行存儲(chǔ)。然后設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證平臺(tái)的可行性和有效性，實(shí)驗(yàn)結(jié)果表明，MongoDB存儲(chǔ)元數(shù)據(jù)信息，可以加快數(shù)據(jù)的訪問(wèn)速度，NameNode節(jié)點(diǎn)