基于Hadoop和Solr的海量數(shù)據(jù)處理研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展和互聯(lián)網(wǎng)信息爆炸式的增長(zhǎng),海量數(shù)據(jù)處理越來(lái)越受到人們的關(guān)注。微博,作為今后互聯(lián)網(wǎng)最重要的發(fā)展方向的一個(gè)重要的代表模式之一,已經(jīng)成為了許多人最重要的溝通、營(yíng)銷工具。這些活動(dòng)產(chǎn)生的海量微博數(shù)據(jù)的處理和利用,成為一個(gè)熱門的研究課題,而對(duì)這些海量的微博數(shù)據(jù)最為直接應(yīng)用,就是基于微博數(shù)據(jù)的搜索引擎。
　　 本文將在著重討論與研究相關(guān)的海量數(shù)據(jù)處理的同時(shí),研究與設(shè)計(jì)一個(gè)新的微博數(shù)據(jù)搜索應(yīng)用——“搜索興趣”,論文的主要工作

2、如下:
　　 首先,研究與討論了相關(guān)的海量數(shù)據(jù)處理技術(shù),主要是海量數(shù)據(jù)存儲(chǔ),海量數(shù)據(jù)讀取,以及海量數(shù)據(jù)業(yè)務(wù)處理等技術(shù),而支撐這些技術(shù)的主要是Google的三大核心技術(shù):BigTable,GFS分布式文件系統(tǒng),MapReduce分布式編程模型。
　　 其次,本文研究與討論了基于Google三大核心技術(shù)原理而實(shí)現(xiàn)的一個(gè)優(yōu)秀的開(kāi)源項(xiàng)目:Hadoop項(xiàng)目,主要涉及到了相關(guān)的Hadoop MapReduce架構(gòu),Hbase文件存儲(chǔ)

3、,HDFS分布式文件系統(tǒng);同時(shí),研究與討論了Solr搜索引擎,主要對(duì)Lucene搜索工具包、Solr的發(fā)展歷史、特性以及體系結(jié)構(gòu)等進(jìn)行了深入研究。
　　 最后,提出了一個(gè)Hadoop與Solr相結(jié)合的體系結(jié)構(gòu),利用Hadoop的分布式結(jié)構(gòu)和預(yù)先分詞技術(shù)對(duì)Solr搜索引擎的索引生成進(jìn)行了高效的優(yōu)化;同時(shí),提出一個(gè)基于微博興趣搜索的排名算法,包括針對(duì)微博內(nèi)容、用戶信息的權(quán)值模型和采用語(yǔ)義樹(shù)進(jìn)行語(yǔ)義擴(kuò)展等,最終實(shí)現(xiàn)了基于微博內(nèi)容搜索相