基于Hadoop的基礎(chǔ)教育資源的存儲(chǔ)和處理.pdf

1、基礎(chǔ)教育資源中蘊(yùn)含了豐富的知識(shí)，研究如何從海量的基礎(chǔ)教育資源中獲取豐富的語(yǔ)義信息，構(gòu)建基礎(chǔ)教育知識(shí)圖譜，對(duì)擴(kuò)展類人智能系統(tǒng)的知識(shí)庫(kù)以及提高其智能水平具有重要意義。為了構(gòu)建基礎(chǔ)教育知識(shí)圖譜，需要有海量的基礎(chǔ)教育資源數(shù)據(jù)作為支撐，因此構(gòu)建一個(gè)基礎(chǔ)教育資源數(shù)據(jù)庫(kù)是構(gòu)建基礎(chǔ)教育知識(shí)圖譜的基礎(chǔ)和關(guān)鍵。本文依托于863項(xiàng)目《面向基礎(chǔ)教育的類人智能知識(shí)理解與推理關(guān)鍵技術(shù)》（2015AA015403）主要圍繞基礎(chǔ)教育資源數(shù)據(jù)的獲取、存儲(chǔ)和處理這三個(gè)方面

2、進(jìn)行了研究，其主要工作如下：
　　1）構(gòu)建了一個(gè)基礎(chǔ)教育資源數(shù)據(jù)庫(kù)。利用設(shè)計(jì)的基于Scrapy框架的簡(jiǎn)單分布式網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)上獲取基礎(chǔ)教育資源數(shù)據(jù)，并在MapReduce框架中對(duì)獲取的基礎(chǔ)教育資源數(shù)據(jù)進(jìn)行處理，最后將處理后的數(shù)據(jù)存入HBase數(shù)據(jù)庫(kù)中，構(gòu)建一個(gè)基礎(chǔ)教育資源數(shù)據(jù)庫(kù)。
　　2）提出了適合基礎(chǔ)教育資源在HDFS中的存儲(chǔ)方案?；A(chǔ)教育資源具有小文件特性且數(shù)量較多，不適合直接存儲(chǔ)到HDFS中。本文提出了一種適合這些資

3、源小文件存儲(chǔ)的存儲(chǔ)方案，該方案首先將這些資源文件在內(nèi)容上進(jìn)行合并為較大文件，然后使用Sequence File技術(shù)將這些較大文件存儲(chǔ)到HDFS中。實(shí)驗(yàn)結(jié)果表明，本文提出的存儲(chǔ)方案有利于節(jié)省存儲(chǔ)空間以及提高對(duì)這些基礎(chǔ)教育資源的處理效率。
　　3）改進(jìn)了基于行塊分布函數(shù)的網(wǎng)頁(yè)正文提取算法?；谛袎K分布函數(shù)的網(wǎng)頁(yè)正文提取算法會(huì)錯(cuò)誤地將網(wǎng)頁(yè)中包含的鏈接塊當(dāng)作正文信息提取出來(lái)。針對(duì)這個(gè)問(wèn)題，本文對(duì)該算法進(jìn)行了改進(jìn)。在提取正文信息的過(guò)程中，增