非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、當(dāng)今互聯(lián)網(wǎng)上的數(shù)據(jù)正在呈現(xiàn)出迅速增長(zhǎng)的發(fā)展趨勢(shì)，這種趨勢(shì)不僅僅體現(xiàn)在數(shù)據(jù)的數(shù)量上，同時(shí)也體現(xiàn)在數(shù)據(jù)的種類上。從傳統(tǒng)的文本數(shù)據(jù)到如今的網(wǎng)絡(luò)文檔、圖片、音頻以及視頻，互聯(lián)網(wǎng)數(shù)據(jù)的主流逐漸從結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變?yōu)榉墙Y(jié)構(gòu)數(shù)據(jù)，而這些日益增長(zhǎng)并種類繁多的非結(jié)構(gòu)化數(shù)據(jù)，為互聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)管理帶來(lái)了新的挑戰(zhàn)。
　　 本文首先研究了針對(duì)各類海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問(wèn)題所提出的解決方案，分析出各存儲(chǔ)系統(tǒng)所存在的問(wèn)題，從而總結(jié)出實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)的關(guān)

2、鍵問(wèn)題。
　　 然后，針對(duì)具有海量、異構(gòu)、關(guān)聯(lián)等特征的非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問(wèn)題，提出了非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)管理平臺(tái)D-Ocean Repository，通過(guò)解決元數(shù)據(jù)管理、統(tǒng)一數(shù)據(jù)接口、異構(gòu)存儲(chǔ)以及數(shù)據(jù)的高可用性與一致性等關(guān)鍵問(wèn)題，融合了HDFS，HBase，MySQL，XMLDB等各類存儲(chǔ)設(shè)施，并通過(guò)異構(gòu)存儲(chǔ)設(shè)施的選擇機(jī)制，解決各類數(shù)據(jù)的高效混合存儲(chǔ)問(wèn)題。
　　 同時(shí)，基于統(tǒng)一存儲(chǔ)平臺(tái)，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)非結(jié)構(gòu)數(shù)據(jù)的批