基于Hadoop的基因大數(shù)據(jù)序列比對(duì)算法研究與實(shí)現(xiàn).pdf

1、基因是承載著生命體特定遺傳信息的核苷酸序列，當(dāng)其產(chǎn)生突變或變異后就會(huì)導(dǎo)致各種癌癥或遺傳病的發(fā)生，因此治療各種遺傳病和癌癥的實(shí)質(zhì)就是破解基因的秘密。基因研究中最基礎(chǔ)也是最重要的一步是將測(cè)定的DNA序列比對(duì)到參考基因組上，只有獲得了測(cè)定序列在參考基因組上的真實(shí)位置，才能研究其變異所帶來的遺傳性狀的改變，進(jìn)而對(duì)該變異所帶來的不利影響進(jìn)行有針對(duì)性的治療。但是，隨著各種高通量測(cè)序技術(shù)的不斷涌現(xiàn)，與日俱增的海量數(shù)據(jù)對(duì)當(dāng)前主流比對(duì)算法無論是硬件上都是

2、軟件上都提出了極大的挑戰(zhàn)。因此，研究并實(shí)現(xiàn)處理速度更快、準(zhǔn)確率更高的基因序列比對(duì)算法顯得尤為重要。
　　本文首先研究了兩種基于BWT索引的序列比對(duì)算法原理及實(shí)現(xiàn)，并分析了其各自的優(yōu)劣勢(shì)，然后研究并實(shí)現(xiàn)了一種新的基于Hash索引的Subread算法。本文的創(chuàng)新主要有兩點(diǎn)：其一是針對(duì)Subread算法在重復(fù)序列情況下返回比對(duì)位置不完整的問題做了進(jìn)一步改進(jìn)及實(shí)現(xiàn)，提高了比對(duì)準(zhǔn)確率；其二是利用并行化框架Hadoop實(shí)現(xiàn)了改進(jìn)型Subrea

3、d算法的并行化處理，有效提高了比對(duì)速度。
　　本文的研究工作和主要內(nèi)容如下：
　　(1)研究并實(shí)現(xiàn)了參考基因組二進(jìn)制壓縮方案，成功將參考基因組的占用空間降低為原來的四分之一大小，而且壓縮后的參考基因組保留了原參考基因組的全部信息，能夠進(jìn)行無損還原。
　　(2)研究了目前兩種基于BWT索引的序列比對(duì)算法原理，并分別對(duì)其進(jìn)行了實(shí)現(xiàn)，最后從靈敏度、準(zhǔn)確性、內(nèi)存占用和時(shí)間消耗四個(gè)方面對(duì)兩種算法的性能進(jìn)行了測(cè)試，并分析了其各自的

4、優(yōu)劣勢(shì)。
　　(3)重點(diǎn)研究并實(shí)現(xiàn)了基于種子投票策略的Subread序列比對(duì)算法，并將其與兩種基于BWT索引的序列比對(duì)算法進(jìn)行了性能測(cè)試及對(duì)比分析；最后針對(duì)Subread算法在重復(fù)序列情況下返回比對(duì)位置不完整的問題做了進(jìn)一步的改進(jìn)及實(shí)現(xiàn)，并對(duì)改進(jìn)前與改進(jìn)后的Subread算法進(jìn)行了性能測(cè)試及對(duì)比分析，重點(diǎn)分析了改進(jìn)前與改進(jìn)后算法的準(zhǔn)確性。
　　(4)研究了改進(jìn)型Subread序列比對(duì)算法的集群并行化方案，并在Hadoop平臺(tái)