基于Hadoop的并行化存儲和處理方法及應用研究.pdf

1、在軟件管理系統(tǒng)中，數據大部分存儲在傳統(tǒng)的關系型數據庫中，但當業(yè)務復雜度的提高和數據量的不斷增加，簡單的通過單一節(jié)點的數據庫處理方式已經無法滿足用戶對于希望快速獲取反饋的需求，從而影響系統(tǒng)的工作效率。因此，采用分布式來來存儲和處理海量數據為本文的主要研究課題。
　　 本文以《教育部學位與研究生教育評估工作平臺》的專家遴選模塊的專家評分環(huán)節(jié)為研究基礎，針對用戶需要多次進行遴選才能確定方案，導致隨著數據庫中專家信息數據的不斷增加，在有

2、限的硬件資源下用戶需要大量的時間等待結果。其中專家評分環(huán)節(jié)占據專家遴選大部分時間，因此本文提出了采用Hadoop平臺的分布式存儲和并行計算功能來提高專家評分環(huán)節(jié)效率的解決方案。
　　 本文的主要研究思路為構建Hadoop平臺，將Oracle數據庫中的專家信息數據存儲到Hadoop的HDFS分布式文件系統(tǒng)中，通過Hadoop提供的MapReduce框架的map和reduce接口，實現分布式專家評分程序，并以專家分數為鍵對專家記錄進