基于Hadoop的教育資源共享平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)在教育應(yīng)用領(lǐng)域的不斷深入，與教育行業(yè)相關(guān)的業(yè)務(wù)數(shù)據(jù)呈指數(shù)增長(zhǎng)，呈現(xiàn)出海量、多樣、復(fù)雜、異構(gòu)和高價(jià)值等特點(diǎn)。豐富的基礎(chǔ)教育資源為廣大教育工作者、學(xué)生及家長(zhǎng)提供了充足的參考資料和教育信息，然而由于數(shù)據(jù)來(lái)自各個(gè)異構(gòu)的應(yīng)用系統(tǒng)，缺乏行之有效的整合標(biāo)準(zhǔn)和手段，目前這些資源的分布呈現(xiàn)高度分散狀態(tài)，內(nèi)容龐雜無(wú)序，規(guī)范化程度較低，用戶往往難以快速準(zhǔn)確地獲取自己所需的信息。因此研究和設(shè)計(jì)教育資源共享平臺(tái)，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的高效存儲(chǔ)和管理，提高

2、用戶獲取資源的速度和準(zhǔn)確度是教育工作者研究的熱點(diǎn)課題。針對(duì)以上問(wèn)題，本文在分析和研究了教育資源特點(diǎn)和分類的基礎(chǔ)上對(duì)教育資源模型進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，并對(duì)分布式Hadoop架構(gòu)進(jìn)行介紹，著重研究 Hadoop分布式文件系統(tǒng)（HDFS）、分布式計(jì)算模型（MapReduceV2）、開源數(shù)據(jù)庫(kù)（HBase）和搜索服務(wù)器（Solr）相關(guān)理論和技術(shù)。搭建Hadoop集群并對(duì)HBase和SolrCloud進(jìn)行整合，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)分布式資源存儲(chǔ)和實(shí)時(shí)檢索方

3、案。將Hadoop技術(shù)用于教育資源模塊和用戶日志模塊，實(shí)現(xiàn)了基于Hadoop的教育資源共享平臺(tái)。
　　本研究主要內(nèi)容包括：⑴對(duì)Hadoop平臺(tái)的基本原理和架構(gòu)進(jìn)行分析，重點(diǎn)研究了HDFS文件系統(tǒng)、MapReduceV2計(jì)算模型和HBase分布式數(shù)據(jù)庫(kù)技術(shù)，并將MapReduce用于PC端用戶日志統(tǒng)計(jì)分析，將HBase和SolrCloud相結(jié)合用于教育資源分布式存儲(chǔ)和實(shí)時(shí)檢索。⑵在進(jìn)行需求分析和用例設(shè)計(jì)的基礎(chǔ)上，確定了基于Hadoo

4、p的教育資源共享平臺(tái)的系統(tǒng)目標(biāo)、架構(gòu)模型和各功能模塊。⑶在研究基于Hadoop的教育資源存儲(chǔ)檢索相關(guān)技術(shù)的基礎(chǔ)上，設(shè)計(jì)了一個(gè)基于 J2EE的教育資源共享平臺(tái)，該系統(tǒng)包括表現(xiàn)層、業(yè)務(wù)邏輯層、持久化層和數(shù)據(jù)庫(kù)層，并對(duì)每一層的功能模塊進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)。⑷根據(jù)系統(tǒng)設(shè)計(jì)方案，搭建測(cè)試系統(tǒng)的軟硬件環(huán)境和 Hadoop分布式集群，對(duì)系統(tǒng)的各個(gè)功能模塊逐一進(jìn)行測(cè)試，驗(yàn)證了本系統(tǒng)設(shè)計(jì)的可用性。⑸最后，對(duì)該系統(tǒng)目前的運(yùn)行情況和存在問(wèn)題進(jìn)行分析，并對(duì)該平臺(tái)的