基于Spark的sMRI影像分類診斷與電影推薦.pdf

1、隨著信息通信技術(shù)的發(fā)展，數(shù)據(jù)量爆炸式增長(zhǎng)，大數(shù)據(jù)技術(shù)研究逐漸升溫，備受關(guān)注。帶來(lái)根本改變的并非海量數(shù)據(jù)自身，而是如何利用數(shù)據(jù)，從數(shù)據(jù)中挖掘潛在的價(jià)值，讓數(shù)據(jù)更好的服務(wù)于用戶。針對(duì)不用的應(yīng)用場(chǎng)景，選擇合適的大數(shù)據(jù)處理平臺(tái)，合適的機(jī)器學(xué)習(xí)算法，快速有效的處理大規(guī)模數(shù)據(jù)是一個(gè)重要的研究課題。
　　誕生于加州大學(xué)伯克利分校AMPLab的Spark大數(shù)據(jù)處理和計(jì)算框架，以其基于內(nèi)存運(yùn)算，適合機(jī)器學(xué)習(xí)迭代計(jì)算的優(yōu)勢(shì)，成為目前大數(shù)據(jù)領(lǐng)域主流的處

2、理工具。以Spark為核心的伯克利數(shù)據(jù)分析軟件棧，包括了Spark Streaming，SQL，MLlib，Graphx，SparkR等應(yīng)用模塊，可以應(yīng)用于各種大數(shù)據(jù)場(chǎng)景。
　　本論文分析了Spark的生態(tài)系統(tǒng)、核心概念與運(yùn)行架構(gòu)，并以此為基礎(chǔ)在實(shí)驗(yàn)室搭建了Spark集群與應(yīng)用開(kāi)發(fā)環(huán)境，集群采用HDFS（Hadoop Distribute FileSystem，Hadoop分布式文件系統(tǒng)）存儲(chǔ)數(shù)據(jù)。作為兩個(gè)應(yīng)用示范，論文提出并實(shí)現(xiàn)

3、了基于Spark的sMRI（structural Magnetic Resonance Imaging，結(jié)構(gòu)磁共振成像）影像分類診斷系統(tǒng)和電影推薦系統(tǒng)，為具體的大數(shù)據(jù)應(yīng)用提供了可行的方案。
　　論文提出并實(shí)現(xiàn)的第一個(gè)應(yīng)用——sMRI影像分類診斷系統(tǒng)，主要用于診斷被檢測(cè)者是否存在AD（Alzheimer's Disease，阿爾茲海默癥）病變，該系統(tǒng)將Spark的數(shù)據(jù)處理能力與利用腦組織的sMRI影像診斷AD病變技術(shù)相結(jié)合，在Spa

4、rk平臺(tái)上利用PCA（Principal Component Analysis，主成分分析）降維算法與SVM(SupportVector Machine，支持向量機(jī))分類算法構(gòu)建了正常人與AD病人腦組織sMRI影像數(shù)據(jù)的分類模型，以訓(xùn)練的最佳分類模型對(duì)新影像數(shù)據(jù)做出分類，根據(jù)分類結(jié)果做出診斷，為醫(yī)生診斷被檢測(cè)者是否存在AD病變提供客觀支持。
　　論文提出并實(shí)現(xiàn)的第二個(gè)應(yīng)用——電影推薦系統(tǒng)，主要是為用戶推薦感興趣的電影，在Spark

5、平臺(tái)上利用基于ALS（Alternating Least Squares，交替最小二乘法）的協(xié)同過(guò)濾算法構(gòu)建電影推薦引擎，通過(guò)訓(xùn)練用戶對(duì)電影的評(píng)分?jǐn)?shù)據(jù)得到最佳推薦模型，再用此推薦模型為用戶推薦感興趣的電影。該系統(tǒng)利用Spark Streaming的流處理能力模擬了實(shí)時(shí)推薦，該系統(tǒng)為需要在Spark平臺(tái)上部署推薦引擎的應(yīng)用提供了可行的方案。
　　論文采用真實(shí)的數(shù)據(jù)集對(duì)兩個(gè)系統(tǒng)進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并對(duì)實(shí)驗(yàn)結(jié)果做出了分析。
　　論文研