基于SPARK的用戶特征分析.pdf

1、近年來，互聯(lián)網(wǎng)的飛速發(fā)展提供了一個豐富便捷的網(wǎng)絡(luò)環(huán)境，人們越來越習(xí)慣在網(wǎng)絡(luò)上進(jìn)行交流、交易、娛樂等等，海量的用戶網(wǎng)絡(luò)數(shù)據(jù)充斥著整個互聯(lián)網(wǎng)，越來越多的人看到了大數(shù)據(jù)背后隱藏的價值，全球范圍內(nèi)掀起來大數(shù)據(jù)研究的浪潮;隨著大數(shù)據(jù)技術(shù)的火熱研究，吸引了國內(nèi)外眾多學(xué)者投入到大數(shù)據(jù)挖掘的研究中，實現(xiàn)了基于用戶網(wǎng)絡(luò)行為數(shù)據(jù)的分析挖掘的研究體系。
　　大數(shù)據(jù)計算平臺并不需要使用超高性能的服務(wù)器才能實現(xiàn)，使用普通的PC即可搭建而成，并且這種集群化的

2、模式表現(xiàn)出的計算性能往往比超高性能的服務(wù)器還要好。以Spark為代表的分布式計算平臺是近幾年剛剛興起并且快速發(fā)展的一種新技術(shù)，原因在于這種分布式平臺是基于內(nèi)存的計算模式，可以提供海量存儲和超級計算的能力。把分析挖掘超大數(shù)據(jù)集的任務(wù)使用云計算方案來解決，能夠極大地提升計算速度和用戶分類的效能。因此，以Spark為代表的分布式計算平臺和海量用戶數(shù)據(jù)集的分類挖掘相融合，會是一個很有科研價值和應(yīng)用潛力的研究方向。
　　本文主要研究基于Sp

3、ark和改進(jìn)的TF-IDF算法的用戶特征分析，具體工作如下:
　　1、研究了Spark的相關(guān)技術(shù)以及Spark集群的搭建過程。使用樸素貝葉斯分類算法，結(jié)合Spark內(nèi)存計算框架，對用戶觀看視頻及次數(shù)信息進(jìn)行分析，建立用戶性別和年齡區(qū)間的分類模型;并進(jìn)一步介紹了整個分析系統(tǒng)的架構(gòu)。
　　2、在基本的分類算法中，并沒考慮特征項權(quán)重問題，這樣并不能體現(xiàn)出每一個特征項的價值，基于這一因素，采用傳統(tǒng)的TF-IDF權(quán)重進(jìn)行進(jìn)一步實驗，與

4、基本的分類算法對比分類效果。
　　3、列出傳統(tǒng)的TF-IDF權(quán)重計算方法的缺陷，僅僅考慮特征項自身的價值，而沒有體現(xiàn)特征項與類別之間的相關(guān)性;針對這一問題，提出了一種基于特征項與類別間相關(guān)性的TFC-IDFC權(quán)重計算方法，并詳細(xì)介紹了優(yōu)化分類模型的過程，通過實驗得出分類結(jié)果。
　　4、將改進(jìn)的權(quán)重計算方法與基本分類算法和傳統(tǒng)的TF-IDF權(quán)重計算方法進(jìn)行比較，通過正確率和F1值兩個指標(biāo)，證明考慮到特征項與類別的相關(guān)性所提出的