基于可壓縮結(jié)構(gòu)化數(shù)據(jù)的信息壓縮理論研究與算法實(shí)現(xiàn).pdf

1、隨著人類需求的不斷提高以及信息技術(shù)的持續(xù)進(jìn)步,基因測(cè)序和光譜成像技術(shù)也在高速發(fā)展著。技術(shù)進(jìn)步為人們提供了豐富多彩的服務(wù),但隨著需求的增長(zhǎng)與變化,我們正迎來(lái)海量信息的大數(shù)據(jù)浪潮。面對(duì)如存儲(chǔ)空間、網(wǎng)絡(luò)帶寬、電池、分辨率、計(jì)算能力等方面的限制或要求,對(duì)于可壓縮結(jié)構(gòu)化數(shù)據(jù)的高效信號(hào)采集及壓縮處理越來(lái)越受到人們的關(guān)注。在生物信息學(xué)中,基因序列的存儲(chǔ)格式間相互關(guān)聯(lián),其中FASTA格式是一種測(cè)序后基于文本用于表示核苷酸序列或氨基酸序列的格式,SAM/

2、BAM格式(SAM全稱是sequence alignment/map format)是包含了完整的基因比對(duì)信息,成為后續(xù)基因片段分析處理的基礎(chǔ),并為不同測(cè)序平臺(tái)產(chǎn)生的序列提供一個(gè)通用比較途徑的格式。二十一世紀(jì)是生物醫(yī)學(xué)世紀(jì),隨著測(cè)序技術(shù)的發(fā)展和測(cè)序機(jī)構(gòu)的快速擴(kuò)張,現(xiàn)存的基因數(shù)據(jù)尤其是FASTA和SAM/BAM格式的數(shù)據(jù)存在大量冗余。另一方面,隨著壓縮傳感技術(shù)在多光譜成像領(lǐng)域的興起,越來(lái)越多的多光譜成像系統(tǒng)通過(guò)滿足壓縮傳感理論的編碼孔徑來(lái)

3、實(shí)現(xiàn)。不管是FASTA格式以及SAM/BAM格式的基因數(shù)據(jù),還是由編碼孔徑快照光譜成像系統(tǒng)產(chǎn)生的采樣測(cè)量數(shù)據(jù),這些數(shù)據(jù)都具有各自可壓縮結(jié)構(gòu)化的特征,如何提供相應(yīng)的壓縮方案去適應(yīng)這些數(shù)據(jù)類型的結(jié)構(gòu)化特征是信號(hào)處理領(lǐng)域的新挑戰(zhàn)。
　　針對(duì)FASTA格式,本文提出了一種基于非連續(xù)上下文建模和最大熵原則的基因壓縮方法。在第一階段,本文所提出的方法同時(shí)考慮了有參考序列和無(wú)參考序列兩種實(shí)際情況,用字典方法表示基因序列內(nèi)或間的重復(fù)序列,提高壓縮

4、效率;在第二階段,將非連續(xù)上下文建模思想與傳統(tǒng)的連續(xù)上下文建模思想相結(jié)合,提高了預(yù)測(cè)模型的多樣性與全面性,更適應(yīng)于以非傳統(tǒng)規(guī)律排列的基因序列,同時(shí)利用最大熵原則得到Logistic回歸模型進(jìn)行模型合成,克服了以往貝葉斯平均法過(guò)度依賴單一模型而忽略其他模型有效性的缺點(diǎn),并使得合成概率更加準(zhǔn)確。相關(guān)論文“DNA-COMPACT: DNA COMpression Based on a Pattern-Aware Contextual Mode

5、ling Technique”已在SCI期刊JPLoS ONE上發(fā)表。
　　針對(duì)SAM/BAM格式,本文提出了一種基于多參考序列的基因序列分級(jí)壓縮方法。由于SAM格式的基因序列由11個(gè)強(qiáng)制域和多個(gè)可選域構(gòu)成,該方法首先將原文件按域提取成12個(gè)獨(dú)立文件,然后對(duì)12個(gè)文件進(jìn)行并行壓縮:對(duì)“Sequence”域,利用多個(gè)公開(kāi)的參考基因序列,并將短序列長(zhǎng)度逐步減半,多次比對(duì)目標(biāo)序列以提高被壓縮序列的比對(duì)準(zhǔn)確率,進(jìn)而提高壓縮效率;對(duì)于“Qu

6、ality Value”域采用用戶可指定壓縮等級(jí)的k均值聚類結(jié)合上下文建模PPMVC壓縮的方法;對(duì)于剩下的10個(gè)域采用基于域內(nèi)特征和域間相關(guān)性的壓縮方法。該方案相對(duì)于現(xiàn)有的同格式的壓縮方案既提高了壓縮效率,又提供了壓縮等級(jí)的多選擇性,使得其更有適應(yīng)性與擴(kuò)展性。相關(guān)論文“HUGO:Hierarchical mUlti-reference Genome compression For Aligned Reads”已在SCI其月干jJourn

7、al of the American Medical Informatics Association上發(fā)表。
　　壓縮傳感要求提供非相干采樣的傳感矩陣(采樣矩陣),采樣的非相干性就是要求用傳感矩陣采集到的數(shù)據(jù)不應(yīng)已存在于稀疏基內(nèi),這樣壓縮的采樣值才能盡可能的保存更多信息。但相應(yīng)地,傳感矩陣得到的最終測(cè)量值信號(hào)也不再冗余,且不易于壓縮。然而在多光譜成像系統(tǒng)中,研宄學(xué)者們?nèi)匀幌Ｍ軐?duì)壓縮感知后的采樣測(cè)量值進(jìn)一步壓縮,以便于其在環(huán)境遙感

8、、天體物理學(xué)和軍事目標(biāo)檢測(cè)等方面應(yīng)用時(shí)的實(shí)時(shí)傳輸。針對(duì)單色散編碼孔徑快照光譜成像系統(tǒng),本文首次提出對(duì)其產(chǎn)生的可壓縮的測(cè)量值進(jìn)一步無(wú)損壓縮的思想。結(jié)合條件熵最小化模型,我們將壓縮問(wèn)題轉(zhuǎn)化為變換問(wèn)題,即尋找可壓縮測(cè)量值矩陣的可逆變換,使得變換后的矩陣有更強(qiáng)的相關(guān)性從而易于壓縮。在對(duì)可壓縮測(cè)量值統(tǒng)計(jì)建模的基礎(chǔ)上,我們證明了基于編碼孔徑的均值濾波(mean filter)式變換能將可壓縮測(cè)量矩陣轉(zhuǎn)換為一個(gè)與原始圖像分布近似的矩陣,和一個(gè)可用編碼

9、孔徑作為輔助信息進(jìn)行位平面編碼(bit plane coding)的稀疏矩陣。實(shí)驗(yàn)結(jié)果表明本文提出的方案對(duì)提升可壓縮測(cè)量值的壓縮效率有突出的效果。相關(guān)論文“Embedded Transform Coding based Lossless Compression in Compressive Spectral Imaging with Coded Aperture”已被Data Compression Conference( DCC,20