基于Hadoop的全基因組關(guān)聯(lián)研究系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著人類基因組精細(xì)圖譜的發(fā)布,全基因組關(guān)聯(lián)研究(Genome-wide association study,GWAS)得到了快速發(fā)展并成為研究人類復(fù)雜性疾病遺傳因素的重要手段?；蛱钛a(bǔ)(genotype imputation)能夠增加研究數(shù)據(jù)中單核苷酸多態(tài)性(single nucleotide polymorphism,SNP)的密度,提高GWAS發(fā)現(xiàn)致病基因的能力,因此基于基因填補(bǔ)的GWAS方法得到了廣泛應(yīng)用。然而,這種方法目前在實(shí)際

2、應(yīng)用中存在著兩方面的問(wèn)題:(1)缺少綜合的系統(tǒng)工具來(lái)完成整個(gè)GWAS的數(shù)據(jù)處理以及分析工作;(2)當(dāng)前用于基因填補(bǔ)和關(guān)聯(lián)檢測(cè)的GWAS工具不能有效地應(yīng)對(duì)由參考數(shù)據(jù)增加而導(dǎo)致的數(shù)據(jù)量和計(jì)算量大幅的增加。
　　本文在對(duì)基于基因填補(bǔ)的GWAS方法和Hadoop平臺(tái)進(jìn)行研究的基礎(chǔ)上,實(shí)現(xiàn)了一個(gè)基于Hadoop平臺(tái)的全基因組關(guān)聯(lián)研究系統(tǒng)——CloudAssoc,該系統(tǒng)主要包括數(shù)據(jù)預(yù)處理、基因填補(bǔ)和SNPs關(guān)聯(lián)檢測(cè)三個(gè)功能模塊。數(shù)據(jù)預(yù)處理模塊

3、能夠?qū)崿F(xiàn)常用數(shù)據(jù)轉(zhuǎn)換和質(zhì)量控制功能;基因填補(bǔ)模塊基于Hadoop平臺(tái)設(shè)計(jì)實(shí)現(xiàn),用于根據(jù)公共數(shù)據(jù)預(yù)測(cè)研究數(shù)據(jù)中沒(méi)有分型的SNPs位點(diǎn)的基因型;關(guān)聯(lián)檢測(cè)模塊同樣基于Hadoop平臺(tái)實(shí)現(xiàn),用于對(duì)填補(bǔ)后的研究數(shù)據(jù)進(jìn)行SNPs的關(guān)聯(lián)檢測(cè)。
　　CloudAssoc能夠提高GWAS效率的關(guān)鍵在于基因填補(bǔ)模塊和關(guān)聯(lián)檢測(cè)模塊的并行化實(shí)現(xiàn)。本文根據(jù)對(duì)基因填補(bǔ)軟件IMPUTE2所用模型和算法的分析研究,使用分割數(shù)據(jù)分析區(qū)間的方法,將時(shí)間和資源消耗巨大

4、的計(jì)算任務(wù)切分為眾多在Hadoop集群上分布式執(zhí)行的小任務(wù),基于Hadoop streaming框架實(shí)現(xiàn)了基因填補(bǔ)的并行化;并采用類似的方法,實(shí)現(xiàn)了關(guān)聯(lián)檢測(cè)模塊的并行化。
　　本文最后對(duì)系統(tǒng)進(jìn)行了測(cè)試。首先對(duì)CloudAssoc中并行化軟件的可擴(kuò)展性、高效性、運(yùn)行時(shí)間與數(shù)據(jù)分割窗口大小的關(guān)系進(jìn)行了測(cè)試。測(cè)試表明,系統(tǒng)中并行化軟件具有接近線性的加速比,具有良好的可擴(kuò)展性以及高效性。最后,對(duì)CloudAssoc進(jìn)行了整體測(cè)試,測(cè)試結(jié)果