基于Hadoop的文本挖掘研究與應(yīng)用.pdf

1、當(dāng)前伴隨互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)信息成為人們獲取信息的主要來源。人們通過Internet可以輕易獲取海量信息，但是信息的爆炸式增長(zhǎng)也帶來一些不便。用戶面對(duì)海量數(shù)據(jù)，快速而有效的篩選出有價(jià)值信息顯得越來越困難。面對(duì)海量數(shù)據(jù)，傳統(tǒng)的單節(jié)點(diǎn)串行計(jì)算模式已經(jīng)滿足不了處理海量信息的要求，分布式技術(shù)為此帶來了新的解決方案，通過分布式的并行處理模式，能夠快速有效的完成對(duì)海量數(shù)據(jù)的計(jì)算。當(dāng)前基于分布式發(fā)展而來的云計(jì)算，對(duì)處理海量數(shù)據(jù)和高并發(fā)問題優(yōu)勢(shì)明

2、顯。Hadoop平臺(tái)是近幾年應(yīng)用比較熱門的云平臺(tái)，其硬件成本較低通過普通PC集群即可構(gòu)成，同時(shí)能夠存儲(chǔ)及處理海量數(shù)據(jù)。
　　文本挖掘是數(shù)據(jù)挖掘的一個(gè)熱門分支，被廣泛應(yīng)用于搜索、分類、推薦等領(lǐng)域。傳統(tǒng)的串行計(jì)算模式應(yīng)用于當(dāng)前的文本挖掘領(lǐng)域，面對(duì)海量的文本數(shù)據(jù)，其運(yùn)算能力難以滿足要求?；诖吮疚倪x擇將Hadoop平臺(tái)與文本挖掘技術(shù)結(jié)合。本文著重研究了Hadoop下的文本預(yù)處理，及CURE聚類算法。本文主要工作如下:
　　(1)簡(jiǎn)

3、單介紹了研究背景及意義、分布式技術(shù)、云平臺(tái)和文本挖掘等相關(guān)技術(shù)。
　　(2)研究了文本挖掘的文本預(yù)處理過程，提出了一種新的構(gòu)造停用詞表的方法。簡(jiǎn)要介紹了Hadoop平臺(tái)的搭建過程。將文本預(yù)處理過程MapReduce化，通過Hadoop平臺(tái)并行計(jì)算完成文本預(yù)處理。并對(duì)比和分析了單機(jī)串行處理和Hadoop平臺(tái)并行處理的效率。
　　(3)簡(jiǎn)要介紹了CURE聚類算法。提出了一種優(yōu)化TFIDF公式，并將其應(yīng)用于CURE算法MapRed

4、uce化的過程。分析對(duì)比了優(yōu)化前，以及優(yōu)化后的TFIDF公式的優(yōu)劣，并證明了優(yōu)化后的TFIDF公式比傳統(tǒng)的TFIDF公式有效性更高。
　　(4)測(cè)試和分析了CURE算法在Hadoop平臺(tái)下，不同集群的運(yùn)行效率。通過統(tǒng)計(jì)分析相關(guān)計(jì)算結(jié)果，進(jìn)一步證明了Hadoop平臺(tái)并行處理的優(yōu)勢(shì)。通過實(shí)驗(yàn)分析本文提出的新的停用詞表構(gòu)造方法，以及對(duì)TFIDF的優(yōu)化，證明了本文研究具有一定的價(jià)值。同時(shí)證明了云計(jì)算技術(shù)應(yīng)用文本挖掘領(lǐng)域的有效性，為今后研究