基于Mapreduce的大規(guī)模中文短文本聚類算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、文本聚類是數(shù)據(jù)挖掘和信息檢索領(lǐng)域的一個(gè)重要研究方向。如何挖掘網(wǎng)頁(yè)上的海量文本信息已經(jīng)成為計(jì)算機(jī)科學(xué)領(lǐng)域所面臨的一個(gè)巨大挑戰(zhàn)。文本聚類技術(shù)的出現(xiàn)為海量文本信息的分類管理提供了一條有效的途徑。近年來(lái)文本聚類在信息檢索、多文本自動(dòng)摘要等互聯(lián)網(wǎng)領(lǐng)域獲得了廣泛的應(yīng)用。云計(jì)算的興起，為分布式并行計(jì)算提供了更多的框架，文本挖掘技術(shù)的分布式實(shí)現(xiàn)也開始被越來(lái)越多的研究人員所關(guān)注。
　　Hadoop是Apache的一款開源軟件，它提供了包括分布式文件

2、系統(tǒng)和MapReduce計(jì)算框架在內(nèi)的云計(jì)算軟件平臺(tái)的基礎(chǔ)架構(gòu)，并且在其上整合了包括數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)等一系列組件，其已成為學(xué)術(shù)界和工業(yè)界進(jìn)行云計(jì)算研究和應(yīng)用的標(biāo)準(zhǔn)平臺(tái)。本文重點(diǎn)研究了Hadoop軟件框架中的HDFS、MapReduce、HBase等組件的核心架構(gòu)及其運(yùn)行機(jī)制，并分析了框架的不足，如HDFS、MapReduce的單點(diǎn)故障及安全性等問(wèn)題，提出了相應(yīng)的解決方案，并基于此搭建了高可靠安全的Hadoop環(huán)境。在高可靠安全的Hado

3、op平臺(tái)上，結(jié)合傳統(tǒng)聚類算法的特點(diǎn)給出了一種基于云計(jì)算的短文本聚類系統(tǒng)的設(shè)計(jì)方案，并對(duì)該系統(tǒng)的各層次的功能及該系統(tǒng)中的分類聚類模塊進(jìn)行了詳細(xì)的闡述。本文主要研究工作包括:
　　(1)搭建了一個(gè)適合文本聚類應(yīng)用的Hadoop分布式平臺(tái)，并通過(guò)Hadoop和Linux對(duì)系統(tǒng)進(jìn)行調(diào)優(yōu)。
　　(2)根據(jù)短文本的特征，利用向量空間模型，TF-IDF計(jì)算公式和余弦公式等技術(shù)來(lái)設(shè)計(jì)了一種合適的聚類方法來(lái)實(shí)現(xiàn)對(duì)中文短文本的分析。