基于云計算的貝葉斯算法在疾病預測中的研究與應用.pdf

1、疾病診斷是醫(yī)學領(lǐng)域的重要課題。各種醫(yī)療機構(gòu)積累了越來越多的就診樣本數(shù)據(jù)，人工對樣本進行疾病分類預測的結(jié)果限于經(jīng)驗、決策能力等主觀因素的影響難以避免地出現(xiàn)誤差，其分類精度和效率有很大提升空間。中醫(yī)疾病預測理論強調(diào)健康與內(nèi)外環(huán)境密切關(guān)聯(lián)，基于概率統(tǒng)計學的貝葉斯分類器的類屬性聯(lián)合概率很難被準確估計，基于單機內(nèi)存的分類算法也無法在期望時間內(nèi)處理大規(guī)模樣本集。理想的分類模型能充分表達樣本特征和疾病類別間的關(guān)聯(lián)，提高分類效果和可擴展性。針對以上不足

2、，本文主要做了以下幾點改進。
　　首先，從局部學習的角度提出了一種基于余弦相似度進行實例加權(quán)改進的樸素貝葉斯分類算法(IWIMNB)。算法在訓練樣本集的局部構(gòu)建高質(zhì)量分類器，利用局部的訓練樣本弱化屬性條件獨立性假設(shè)，使用余弦相似度度量驗證與訓練樣本的距離，并作為權(quán)值對修正的樸素貝葉斯模型進行參數(shù)訓練，對比實驗的結(jié)果表明IWIMNB算法可操作性強并具有更好的分類效果。
　　其次，從結(jié)構(gòu)擴展的角度考慮將關(guān)聯(lián)規(guī)則應用到加權(quán)平均的1

3、-依賴貝葉斯模型(AR-WAODE)，從而考慮非公共父結(jié)點屬性間依賴關(guān)系與不同AODE對分類的貢獻。為了提高生成關(guān)聯(lián)規(guī)則的效率，提出了一種基于矩陣剪枝的分布式頻繁項集挖掘算法(DFIMA)，目的是減少Apriori算法產(chǎn)生的無用候選項集及文件系統(tǒng)I/O負載，利用2-候選項集矩陣對生成（k+1）-頻繁項集的計算過程進行剪枝，之后基于內(nèi)存迭代計算框架Spark實現(xiàn)改進算法，對比實驗的結(jié)果表明DFIMA能減少迭代過程中產(chǎn)生的無用候選項集，在加

4、速比和可擴展性上表現(xiàn)良好。
　　然后，基于Hadoop框架實現(xiàn)AR-WAODE分類算法(Hadoop-AR-WAODE)，從而提高模型參數(shù)的訓練速度。算法主要分為預處理作業(yè)、分類器的訓練作業(yè)和預測作業(yè)。對比實驗的結(jié)果表明，Hadoop-AR-WAODE通過考慮非公共父結(jié)點屬性間依賴關(guān)系以及不同AODE對分類結(jié)果的貢獻不同提高了分類模型的預測效果，在處理大規(guī)模樣本集時分類效率得到有效改進。
　　最后，將Hadoop-AR-WA