感動Hadoop平臺的教育資源垂直搜索系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)的出現(xiàn)改變了我們的生活、工作、學(xué)習乃至娛樂的方式。網(wǎng)上豐富的基礎(chǔ)教育資源為廣大基礎(chǔ)教育工作者、學(xué)生以及學(xué)生家長提供了充足的參考資料和教育信息，然而由于缺乏行之有效的整合標準和手段，目前這些資源的分布呈現(xiàn)高度分散狀態(tài)，內(nèi)容龐雜無序，結(jié)構(gòu)化程度低，用戶往往難以快速準確地獲取到自己需要的信息。所以我們必須研究和設(shè)計出針對教育資源搜索的網(wǎng)絡(luò)平臺，以提高用戶獲取教育資源信息的速度和準確度。
　　 本文通過對現(xiàn)有的互聯(lián)網(wǎng)搜索平臺的分析

2、，借鑒其他應(yīng)用領(lǐng)域的垂直搜索平臺所采用的架構(gòu)和設(shè)計方法，通過使用Hadoop平臺的分層分布的架構(gòu)和聚焦蜘蛛的爬行技術(shù)，提出基于Hadoop平臺的B/S多層分布式架構(gòu)系統(tǒng)模型，給出提高搜索運行效率的若干關(guān)鍵技術(shù)，并基于該架構(gòu)的設(shè)計實現(xiàn)了系統(tǒng)。本文的主要工作包括：
　　 (1)通過對Hadoop平臺的基本原理和架構(gòu)以及Hadoop平臺的兩個核心組件HDFS與Map/Reduce的分析，選擇Hbase對系統(tǒng)的數(shù)據(jù)進行管理，并對可視化系

3、統(tǒng)的Hbase數(shù)據(jù)模型的設(shè)計以及條件查詢的改進進行闡述。
　　 (2)基于抽樣調(diào)查和教育經(jīng)驗，進行MDVSP的軟件需求分析，設(shè)計基于Hadoop平臺的教育資源垂直搜索(MDVSP)架構(gòu)模型。該架構(gòu)模型把業(yè)務(wù)處理服務(wù)器與Web服務(wù)器分開，采用并行計算提高業(yè)務(wù)處理能力，使得基于該架構(gòu)模型下的系統(tǒng)具有良好的可伸縮性、可擴展性、可維護性和更高的安全性。
　　 (3)研究基于Hadoop平臺的教育資源搜索系統(tǒng)所采用的關(guān)鍵技術(shù)，包括