基于Hadoop的中文并行LDA算法及在電子病歷挖掘中的應(yīng)用.pdf

1、電子病歷作為互聯(lián)網(wǎng)醫(yī)療的基礎(chǔ)技術(shù)，記錄了病人的臨床診療記錄，是極具價(jià)值的數(shù)據(jù)資源。我國(guó)市級(jí)以上醫(yī)院的病歷信息系統(tǒng)的總數(shù)據(jù)規(guī)模估計(jì)在100TB以上，日新增數(shù)據(jù)的數(shù)量級(jí)為GB，數(shù)據(jù)類型多樣，符合學(xué)術(shù)界對(duì)大數(shù)據(jù)的定義。目前對(duì)電子病歷的數(shù)據(jù)挖掘?qū)嵺`多采用在單臺(tái)計(jì)算機(jī)上運(yùn)用常規(guī)的聚類分類算法和關(guān)聯(lián)規(guī)則處理結(jié)構(gòu)化數(shù)據(jù)的分析方法，不能較好地適應(yīng)大數(shù)據(jù)環(huán)境。Hadoop是當(dāng)前熱門(mén)的分布式處理系統(tǒng)，通過(guò)組合數(shù)量巨大的廉價(jià)通用硬件形成巨大的資源池，部署簡(jiǎn)單

2、，容錯(cuò)能力較高，因此本文以Hadoop為平臺(tái)構(gòu)建大數(shù)據(jù)分析算法的并行程序。本文選擇主題模型中的LDA模型作為并行化的目標(biāo)，參數(shù)估計(jì)方法為塌縮Gibbs采樣法。
　　本文引入點(diǎn)互信息算法PMIk對(duì)ICTCLAS分詞系統(tǒng)增加了詞庫(kù)的動(dòng)態(tài)更新功能，并給出了處理大規(guī)模數(shù)據(jù)集的并行框架。將輸入的文檔從外部和內(nèi)部分塊，為避免參數(shù)采集中的依賴性，采用對(duì)角線法分配數(shù)據(jù)。在塌縮吉布斯采樣時(shí)統(tǒng)計(jì)每一個(gè)單詞在所有文檔中的詞頻，在歸一化詞頻向量上疊加合適

3、的隨機(jī)數(shù)序列，過(guò)濾掉低于閾值的詞語(yǔ)。本文采用復(fù)旦大學(xué)的中文語(yǔ)料庫(kù)從準(zhǔn)確率、困惑度、加速比三個(gè)指標(biāo)分析實(shí)驗(yàn)結(jié)果，得到如下結(jié)論：改進(jìn)后的分詞算法能有效增加分詞準(zhǔn)確率和召回率；改進(jìn)的并行LDA算法能顯著減少模型運(yùn)行時(shí)間。
　　最后，本文以真實(shí)新生兒電子病歷集為挖掘?qū)ο?，采用并行LDA算法進(jìn)行文檔分類和特征發(fā)現(xiàn)。挖掘結(jié)果顯示算法分類的準(zhǔn)確率較高；算法輸出的描述性的詞語(yǔ)矩陣包含了候選特征，通過(guò)單因素方差分析檢驗(yàn)對(duì)四種新生兒疾病患病率有顯著影