基于Spark的sMRI影像分類診斷與電影推薦.pdf

1、隨著信息通信技術(shù)的發(fā)展，數(shù)據(jù)量爆炸式增長，大數(shù)據(jù)技術(shù)研究逐漸升溫，備受關(guān)注。帶來根本改變的并非海量數(shù)據(jù)自身，而是如何利用數(shù)據(jù)，從數(shù)據(jù)中挖掘潛在的價值，讓數(shù)據(jù)更好的服務(wù)于用戶。針對不用的應(yīng)用場景，選擇合適的大數(shù)據(jù)處理平臺，合適的機(jī)器學(xué)習(xí)算法，快速有效的處理大規(guī)模數(shù)據(jù)是一個重要的研究課題。
　　誕生于加州大學(xué)伯克利分校AMPLab的Spark大數(shù)據(jù)處理和計算框架，以其基于內(nèi)存運(yùn)算，適合機(jī)器學(xué)習(xí)迭代計算的優(yōu)勢，成為目前大數(shù)據(jù)領(lǐng)域主流的處

2、理工具。以Spark為核心的伯克利數(shù)據(jù)分析軟件棧，包括了Spark Streaming，SQL，MLlib，Graphx，SparkR等應(yīng)用模塊，可以應(yīng)用于各種大數(shù)據(jù)場景。
　　本論文分析了Spark的生態(tài)系統(tǒng)、核心概念與運(yùn)行架構(gòu)，并以此為基礎(chǔ)在實驗室搭建了Spark集群與應(yīng)用開發(fā)環(huán)境，集群采用HDFS（Hadoop Distribute FileSystem，Hadoop分布式文件系統(tǒng)）存儲數(shù)據(jù)。作為兩個應(yīng)用示范，論文提出并實現(xiàn)

3、了基于Spark的sMRI（structural Magnetic Resonance Imaging，結(jié)構(gòu)磁共振成像）影像分類診斷系統(tǒng)和電影推薦系統(tǒng)，為具體的大數(shù)據(jù)應(yīng)用提供了可行的方案。
　　論文提出并實現(xiàn)的第一個應(yīng)用——sMRI影像分類診斷系統(tǒng)，主要用于診斷被檢測者是否存在AD（Alzheimer's Disease，阿爾茲海默癥）病變，該系統(tǒng)將Spark的數(shù)據(jù)處理能力與利用腦組織的sMRI影像診斷AD病變技術(shù)相結(jié)合，在Spa

4、rk平臺上利用PCA（Principal Component Analysis，主成分分析）降維算法與SVM(SupportVector Machine，支持向量機(jī))分類算法構(gòu)建了正常人與AD病人腦組織sMRI影像數(shù)據(jù)的分類模型，以訓(xùn)練的最佳分類模型對新影像數(shù)據(jù)做出分類，根據(jù)分類結(jié)果做出診斷，為醫(yī)生診斷被檢測者是否存在AD病變提供客觀支持。
　　論文提出并實現(xiàn)的第二個應(yīng)用——電影推薦系統(tǒng)，主要是為用戶推薦感興趣的電影，在Spark

5、平臺上利用基于ALS（Alternating Least Squares，交替最小二乘法）的協(xié)同過濾算法構(gòu)建電影推薦引擎，通過訓(xùn)練用戶對電影的評分?jǐn)?shù)據(jù)得到最佳推薦模型，再用此推薦模型為用戶推薦感興趣的電影。該系統(tǒng)利用Spark Streaming的流處理能力模擬了實時推薦，該系統(tǒng)為需要在Spark平臺上部署推薦引擎的應(yīng)用提供了可行的方案。
　　論文采用真實的數(shù)據(jù)集對兩個系統(tǒng)進(jìn)行了實驗驗證，并對實驗結(jié)果做出了分析。
　　論文研