基于Hadoop的微博熱點話題情感分類系統(tǒng)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的迅速發(fā)展，社交網(wǎng)絡逐漸成為一種快速便捷的信息分享和交互平臺。作為當前國內(nèi)社交網(wǎng)絡巨頭之一，新浪微博熱門話題的討論提升了微博用戶的參與感和活躍程度，形成了一個和用戶關系密切相關的傳播網(wǎng)絡，這個網(wǎng)絡在一定程度上反映了微博信息的傳播方式和情感傾向。因此，對該網(wǎng)絡的調(diào)研和對某話題的情感分類是一個很有意義的研究課題。然而，由于數(shù)據(jù)量巨大，分析處理通常需要較長的時間開銷，現(xiàn)有傳統(tǒng)技術和方法難以有效完成大規(guī)模微博數(shù)據(jù)的處理，而本文討論

2、的Hadoop平臺可以為大規(guī)模微博數(shù)據(jù)處理提供有效的技術手段，實現(xiàn)較快的微博熱點話題情感分類。
　　首先，本文對Hadoop平臺及其兩大核心組件MapReduce并行計算框架和HDFS分布式文件存儲系統(tǒng)予以研究討論，并闡述了樸素貝葉斯分類算法的原理和工作流程。在計算特征詞的概率矩陣時，經(jīng)典的TFIDF方法將數(shù)據(jù)集作為一個整體來考慮，影響了情感分類結(jié)果。故本文中研究了訓練集中的數(shù)據(jù)在類中和類間的分布偏差，提出了針對TFIDF的改進方

3、案，給出樸素貝葉斯分類并行化的總體流程以及具體算法。其次，為觀察集群負載能力和改進算法的分類準確率情況，文中使用測試數(shù)據(jù)集設計多組實驗對其進行情感分類，在分類過程中的不同階段分別觀察了系統(tǒng)各節(jié)點在不同數(shù)據(jù)集情況下的負載能力，證實了Hadoop集群處理大數(shù)據(jù)的可擴展性和優(yōu)越性。同時也測試了貝葉斯分類器并行化之后的準確性，實驗表明，改進后的貝葉斯分類器分類準確率相比較經(jīng)典樸素貝葉斯分類器有明顯改善，且在一定范圍內(nèi)，隨著數(shù)據(jù)集容量的不斷增大，