基于BIRIS-SSP的數(shù)據(jù)管理服務(wù)技術(shù)與平臺(tái).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,新創(chuàng)建的數(shù)據(jù)及其傳播使互聯(lián)網(wǎng)充斥著大量的數(shù)據(jù),并且在不斷的壯大。無(wú)論是企業(yè)還是個(gè)人都面臨著海量數(shù)據(jù)存儲(chǔ)和管理的難題。傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)無(wú)法適應(yīng)現(xiàn)在數(shù)據(jù)管理的需要并成為了信息化進(jìn)程中的瓶頸,針對(duì)于這一個(gè)問(wèn)題,本文在基于雙邊資源整合的服務(wù)智慧平臺(tái)上對(duì)數(shù)據(jù)管理服務(wù)與技術(shù)進(jìn)行了研究。
　　本文通過(guò)對(duì)目前的數(shù)據(jù)管理平臺(tái)和云計(jì)算的研究和分析,對(duì)數(shù)據(jù)管理中涉及到的問(wèn)題提出有效的解決方案。在海量數(shù)據(jù)存儲(chǔ)方面,采用開(kāi)源

2、的 HDFS(Hadoop Distributed File System),它具有動(dòng)態(tài)收縮性、高可靠性、高效性和存儲(chǔ)成本低等特點(diǎn),對(duì)HDFS系統(tǒng)進(jìn)行了研究,包括它的整體架構(gòu),系統(tǒng)維護(hù),讀寫(xiě)過(guò)程,節(jié)點(diǎn)間的通信等內(nèi)容。利用HDFS來(lái)完成分布式環(huán)境的部署,并在這個(gè)基礎(chǔ)之上實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)。在數(shù)據(jù)的管理方面,提出了三種數(shù)據(jù)分類(lèi)的模式:用戶自己分類(lèi),數(shù)據(jù)管理平臺(tái)人員分類(lèi),自動(dòng)分類(lèi),對(duì)這三種模式進(jìn)行了研究分析和設(shè)計(jì),滿足數(shù)據(jù)分類(lèi)的需要,為用戶提供全

3、方位的服務(wù)。在數(shù)據(jù)的處理分析方面,采用了計(jì)算編程模型MapReduce,它可以在分布式環(huán)境下并行的處理數(shù)據(jù),研究MapReduce工作原理,處理機(jī)制,并進(jìn)行了實(shí)際的應(yīng)用。
　　通過(guò)對(duì)系統(tǒng)的分析和理論的研究,設(shè)計(jì)并開(kāi)發(fā)了數(shù)據(jù)管理服務(wù)技術(shù)平臺(tái)。從整體架構(gòu)、功能架構(gòu)、詳細(xì)設(shè)計(jì)、HDFS設(shè)計(jì)、MapReduce設(shè)計(jì)、自動(dòng)分類(lèi)、數(shù)據(jù)庫(kù)設(shè)計(jì)等都給出了具體方案,并將其在數(shù)據(jù)管理服務(wù)技術(shù)與平臺(tái)上進(jìn)行了實(shí)現(xiàn),包括了程序類(lèi)的實(shí)現(xiàn),環(huán)境部署,系統(tǒng)的程序