基于BIRIS-SSP的數據管理服務技術與平臺.pdf

1、隨著互聯網技術的飛速發(fā)展,新創(chuàng)建的數據及其傳播使互聯網充斥著大量的數據,并且在不斷的壯大。無論是企業(yè)還是個人都面臨著海量數據存儲和管理的難題。傳統(tǒng)的數據處理方式已經無法適應現在數據管理的需要并成為了信息化進程中的瓶頸,針對于這一個問題,本文在基于雙邊資源整合的服務智慧平臺上對數據管理服務與技術進行了研究。
　　本文通過對目前的數據管理平臺和云計算的研究和分析,對數據管理中涉及到的問題提出有效的解決方案。在海量數據存儲方面,采用開源

2、的 HDFS(Hadoop Distributed File System),它具有動態(tài)收縮性、高可靠性、高效性和存儲成本低等特點,對HDFS系統(tǒng)進行了研究,包括它的整體架構,系統(tǒng)維護,讀寫過程,節(jié)點間的通信等內容。利用HDFS來完成分布式環(huán)境的部署,并在這個基礎之上實現數據的存儲。在數據的管理方面,提出了三種數據分類的模式:用戶自己分類,數據管理平臺人員分類,自動分類,對這三種模式進行了研究分析和設計,滿足數據分類的需要,為用戶提供全

3、方位的服務。在數據的處理分析方面,采用了計算編程模型MapReduce,它可以在分布式環(huán)境下并行的處理數據,研究MapReduce工作原理,處理機制,并進行了實際的應用。
　　通過對系統(tǒng)的分析和理論的研究,設計并開發(fā)了數據管理服務技術平臺。從整體架構、功能架構、詳細設計、HDFS設計、MapReduce設計、自動分類、數據庫設計等都給出了具體方案,并將其在數據管理服務技術與平臺上進行了實現,包括了程序類的實現,環(huán)境部署,系統(tǒng)的程序