面向商業(yè)輿情分析的大規(guī)模數(shù)據(jù)處理架構(gòu)優(yōu)化設(shè)計(jì)研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，人類社會(huì)也正從IT走向DT時(shí)代，不斷積累的數(shù)據(jù)所帶來(lái)的價(jià)值已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了我們的想象，當(dāng)然，數(shù)據(jù)帶來(lái)價(jià)值的同時(shí)，也同樣帶來(lái)了一些負(fù)面的東西，比如說(shuō)隱私泄露，網(wǎng)絡(luò)暴力等等。如何更好的去善用這些數(shù)據(jù)，并且去做一些有意義的事情，這考驗(yàn)著每一個(gè)從事大數(shù)據(jù)分析相關(guān)工作的人。在商業(yè)信息領(lǐng)域，很多專家學(xué)者在商業(yè)的輿情數(shù)據(jù)分析方面做了很多有意義的工作，主要是基于Hadoop計(jì)算框架，利用文本聚類等技術(shù)進(jìn)行商業(yè)輿情信息的挖掘以及輿情話

2、題的檢測(cè)與傾向判斷，但在輿情實(shí)時(shí)性處理，動(dòng)態(tài)追蹤，趨勢(shì)預(yù)測(cè)等方面較國(guó)外還有很大的差距，這也成了輿情信息發(fā)展重點(diǎn)研究方向。
　　本文首先是在研究分析主流輿情分析系統(tǒng)的基礎(chǔ)上，對(duì)商業(yè)輿情分析系統(tǒng)的關(guān)鍵需求進(jìn)行了整理和總結(jié)，對(duì)功能性的需求做了詳細(xì)的闡述，并大體介紹了非功能性需求的設(shè)計(jì)要求，之后專門針對(duì)商業(yè)輿情領(lǐng)域的需求做了一定的優(yōu)化處理并提出了一種面向商業(yè)輿情分析的平臺(tái)架構(gòu)。
　　其次，結(jié)合每個(gè)模塊關(guān)鍵需求，提出了適合本商業(yè)輿情分

3、析的主要技術(shù)架構(gòu)，從數(shù)據(jù)采集模塊，數(shù)據(jù)預(yù)處理模塊到業(yè)務(wù)分析以及整個(gè)Web應(yīng)用層，對(duì)平臺(tái)的每一個(gè)環(huán)節(jié)擬采用的具體技術(shù)框架以及底層存儲(chǔ)做了具體的設(shè)計(jì)與闡述，并在話題文本聚類和基于Spark的緩存優(yōu)化方面也提出了自己的改進(jìn)算法。
　　最后，基于上述架構(gòu)設(shè)計(jì)進(jìn)行本地環(huán)境的集群搭建，結(jié)合開(kāi)放的微博API接口以及WebMagic網(wǎng)絡(luò)爬蟲技術(shù)對(duì)網(wǎng)頁(yè)站點(diǎn)，論壇博客等內(nèi)容進(jìn)行爬取，利用NLPIR分詞工具對(duì)文本數(shù)據(jù)進(jìn)行分詞處理，以及利用K-means

4、算法進(jìn)行話題聚類處理和針對(duì)不同類型文本進(jìn)行差異化的輿情情感分析，并對(duì)改進(jìn)的K-means優(yōu)化算法以及ASRW算法進(jìn)行了仿真測(cè)試和結(jié)果分析。
　　本文在數(shù)據(jù)處理方面依然主要是基于Hadoop技術(shù)架構(gòu)進(jìn)行展開(kāi)，但在實(shí)時(shí)性，流數(shù)據(jù)處理上則采用了基于內(nèi)存計(jì)算的開(kāi)源框架Spark，這也是當(dāng)前比較主流的一種大數(shù)據(jù)處理模型，可以對(duì)MapReduce取長(zhǎng)補(bǔ)短，同時(shí)具有更好的容錯(cuò)性，使用Hadoop和Spark兩種技術(shù)的結(jié)合對(duì)商業(yè)輿情分析平臺(tái)的開(kāi)發(fā)