基于云計算的文本分類研究與應用.pdf

1、當代互聯(lián)網(wǎng)的高速發(fā)展產(chǎn)生了大量富有價值的互聯(lián)網(wǎng)信息，其中文本數(shù)據(jù)占據(jù)著重要的位置，如何從海量的文本數(shù)據(jù)中挖掘出有用的信息是具有重大意義的課題。文本分類是文本挖掘中一項重要的研究方向，分類算法的實現(xiàn)是文本分類的重要部分，影響著文本分類效果和分類性能?；趥鹘y(tǒng)計算機的分類算法實現(xiàn)過程需要消耗大量的時間，不能滿足日益增長的數(shù)據(jù)處理需求，云計算平臺的研究和發(fā)展就是在這一背景下興起，滿足了日益增長的海量數(shù)據(jù)處理需求。
　　鑒于目前文本分類的

2、研究現(xiàn)狀和云計算平臺應用的發(fā)展趨勢，本文將基于云計算平臺對文本分類相關(guān)技術(shù)進行研究，主要工作有以下三個方面：
　?。?）深入分析了樸素貝葉斯文本分類算法相關(guān)理論，對條件屬性獨立性假設(shè)進行深入研究，重點討論了樸素貝葉斯屬性加權(quán)對獨立性假設(shè)的影響。然后針對屬性加權(quán)，本文提出了基于余弦相似度的加權(quán)樸素貝葉斯分類算法，采用余弦相似度優(yōu)化屬性權(quán)值，對分類算法進行改進。
　?。?）研究樸素貝葉斯算法在云計算平臺中的并行化實現(xiàn)?；谠朴嬎?/p>

3、平臺Hadoop，根據(jù)MapReduce編程模型對貝葉斯算法并行化進行設(shè)計和實現(xiàn)；基于云計算平臺Spark，根據(jù)基于內(nèi)存的運算模式來分析和設(shè)計貝葉斯算法的并行化。然后實驗對比算法在兩個平臺上性能提升的效果。
　?。?）針對電子商務商品類目分類領(lǐng)域，在Spark平臺和文本分類相關(guān)技術(shù)的研究基礎(chǔ)上，對基于Spark平臺文本分類并行化實現(xiàn)過程進行分析和設(shè)計，分析任務提交后各節(jié)點的作用和任務分配情況。然后研究改進的樸素貝葉斯算法在Spar