基于Hadoop平臺的TFIDF算法并行化研究.pdf

1、隨著Internet等技術(shù)的飛速發(fā)展,信息處理已經(jīng)成為人們獲取有用信息不可或缺的工具,如何在海量信息中高效的獲得有用信息至關(guān)重要,因此自動文本分類技術(shù)尤為重要。云計算將計算任務(wù)分布在由很多計算機(jī)構(gòu)成的資源池上,因此應(yīng)用系統(tǒng)可以獲得所需的計算能力,存儲空間和軟件服務(wù)。云計算的出現(xiàn),為海量數(shù)據(jù)挖掘提供了新的思路。
　　開源云計算平臺Hadoop是一個能夠?qū)Υ髷?shù)據(jù)進(jìn)行分布式處理的軟件框架,實現(xiàn)了Google的Map Reduce編程模型

2、和框架,能夠把應(yīng)用程序分割成許多小的工作單元,并把這些單元放到任何集群節(jié)點(diǎn)上執(zhí)行。
　　在文本分類中有至關(guān)重要的一步,即權(quán)重的計算。本課題對云計算和Hadoop分布式平臺進(jìn)行介紹并介紹了文本分類的概念和分類過程,并對幾種典型文本分類算法的基本思想、適用領(lǐng)域、優(yōu)缺點(diǎn)等進(jìn)行了介紹,重點(diǎn)研究TFIDF算法。TFIDF是一種在文本分類領(lǐng)域獲得廣泛應(yīng)用的特征詞權(quán)重算法,著重考慮了詞頻與逆文檔頻等因素,但沒有考慮特征詞的位置對權(quán)重計算的影響。

3、
　　本文對開源云計算Hadoop平臺進(jìn)行了研究,介紹了其主要組成部分分布式文件系統(tǒng)(Hadoop Distributed File System,簡寫HDFS)和Map Reduce編程模型,HDFS是一個分布式文件系統(tǒng)。HDFS有著高容錯性的特點(diǎn),并且設(shè)計用來部署在低廉的硬件上,適合處理大數(shù)據(jù)的應(yīng)用。Map Reduce編程模型的核心部分是map函數(shù)和reduce函數(shù),這兩個函數(shù)時由用戶根據(jù)需要來實現(xiàn)的。他極大地方便了編程人員