基于云計算的文本分類研究與應用.pdf

1、當代互聯(lián)網的高速發(fā)展產生了大量富有價值的互聯(lián)網信息，其中文本數(shù)據(jù)占據(jù)著重要的位置，如何從海量的文本數(shù)據(jù)中挖掘出有用的信息是具有重大意義的課題。文本分類是文本挖掘中一項重要的研究方向，分類算法的實現(xiàn)是文本分類的重要部分，影響著文本分類效果和分類性能。基于傳統(tǒng)計算機的分類算法實現(xiàn)過程需要消耗大量的時間，不能滿足日益增長的數(shù)據(jù)處理需求，云計算平臺的研究和發(fā)展就是在這一背景下興起，滿足了日益增長的海量數(shù)據(jù)處理需求。
　　鑒于目前文本分類的

2、研究現(xiàn)狀和云計算平臺應用的發(fā)展趨勢，本文將基于云計算平臺對文本分類相關技術進行研究，主要工作有以下三個方面：
　　（1）深入分析了樸素貝葉斯文本分類算法相關理論，對條件屬性獨立性假設進行深入研究，重點討論了樸素貝葉斯屬性加權對獨立性假設的影響。然后針對屬性加權，本文提出了基于余弦相似度的加權樸素貝葉斯分類算法，采用余弦相似度優(yōu)化屬性權值，對分類算法進行改進。
　?。?）研究樸素貝葉斯算法在云計算平臺中的并行化實現(xiàn)。基于云計算

3、平臺Hadoop，根據(jù)MapReduce編程模型對貝葉斯算法并行化進行設計和實現(xiàn)；基于云計算平臺Spark，根據(jù)基于內存的運算模式來分析和設計貝葉斯算法的并行化。然后實驗對比算法在兩個平臺上性能提升的效果。
　?。?）針對電子商務商品類目分類領域，在Spark平臺和文本分類相關技術的研究基礎上，對基于Spark平臺文本分類并行化實現(xiàn)過程進行分析和設計，分析任務提交后各節(jié)點的作用和任務分配情況。然后研究改進的樸素貝葉斯算法在Spar