基于Hadoop和Solr的海量數(shù)據(jù)處理研究與應用.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展和互聯(lián)網(wǎng)信息爆炸式的增長,海量數(shù)據(jù)處理越來越受到人們的關注。微博,作為今后互聯(lián)網(wǎng)最重要的發(fā)展方向的一個重要的代表模式之一,已經(jīng)成為了許多人最重要的溝通、營銷工具。這些活動產(chǎn)生的海量微博數(shù)據(jù)的處理和利用,成為一個熱門的研究課題,而對這些海量的微博數(shù)據(jù)最為直接應用,就是基于微博數(shù)據(jù)的搜索引擎。
　　 本文將在著重討論與研究相關的海量數(shù)據(jù)處理的同時,研究與設計一個新的微博數(shù)據(jù)搜索應用——“搜索興趣”,論文的主要工作

2、如下:
　　 首先,研究與討論了相關的海量數(shù)據(jù)處理技術,主要是海量數(shù)據(jù)存儲,海量數(shù)據(jù)讀取,以及海量數(shù)據(jù)業(yè)務處理等技術,而支撐這些技術的主要是Google的三大核心技術:BigTable,GFS分布式文件系統(tǒng),MapReduce分布式編程模型。
　　 其次,本文研究與討論了基于Google三大核心技術原理而實現(xiàn)的一個優(yōu)秀的開源項目:Hadoop項目,主要涉及到了相關的Hadoop MapReduce架構,Hbase文件存儲

3、,HDFS分布式文件系統(tǒng);同時,研究與討論了Solr搜索引擎,主要對Lucene搜索工具包、Solr的發(fā)展歷史、特性以及體系結構等進行了深入研究。
　　 最后,提出了一個Hadoop與Solr相結合的體系結構,利用Hadoop的分布式結構和預先分詞技術對Solr搜索引擎的索引生成進行了高效的優(yōu)化;同時,提出一個基于微博興趣搜索的排名算法,包括針對微博內容、用戶信息的權值模型和采用語義樹進行語義擴展等,最終實現(xiàn)了基于微博內容搜索相