基于云計(jì)算的文本挖掘算法研究.pdf

1、文本挖掘就是從非結(jié)構(gòu)化的文本數(shù)據(jù)中獲取用戶(hù)關(guān)心和有價(jià)值的信息的過(guò)程。作為數(shù)據(jù)挖掘中一個(gè)重要的研究方向，文本挖掘已經(jīng)被廣泛地應(yīng)用到搜索、分類(lèi)、推薦系統(tǒng)、輿情和觀點(diǎn)挖掘等多個(gè)領(lǐng)域。隨著互聯(lián)網(wǎng)上信息爆炸式的增長(zhǎng)，海量數(shù)據(jù)的處理成為了當(dāng)今的熱點(diǎn)也是難點(diǎn)，單一服務(wù)器在多數(shù)情況下已不能滿(mǎn)足海量數(shù)據(jù)處理的需要，所以分布式計(jì)算是未來(lái)的發(fā)展趨勢(shì)。而云計(jì)算又是分布式處理、并行計(jì)算以及網(wǎng)格計(jì)算的發(fā)展和延續(xù)，并發(fā)與分布是云計(jì)算的關(guān)鍵技術(shù)，海量數(shù)據(jù)處理和海量計(jì)算

2、是云計(jì)算的優(yōu)勢(shì)。在文本挖掘領(lǐng)域中，同樣面臨著海量數(shù)據(jù)處理的問(wèn)題，所以把云計(jì)算與文本挖掘結(jié)合起來(lái)處理海量文本數(shù)據(jù)是十分有意義的。
　　本文正是以此為出發(fā)點(diǎn)，首先簡(jiǎn)單介紹了文本挖掘、云計(jì)算的相關(guān)概念和關(guān)鍵技術(shù)，對(duì)Hadoop云計(jì)算平臺(tái)及MapReduce編程模式進(jìn)行了詳細(xì)說(shuō)明，著重對(duì)中文分詞、新詞識(shí)別、最短距離算法進(jìn)行描述并提出了此三種算法基于Hadoop平臺(tái)的MapReduce解決方案。通過(guò)搭建Hadoop實(shí)驗(yàn)平臺(tái)，編程實(shí)現(xiàn)三種改進(jìn)