基于結(jié)構(gòu)化概率模型學(xué)習(xí)的異構(gòu)數(shù)據(jù)壓縮編碼.pdf

1、數(shù)據(jù)采集、網(wǎng)絡(luò)服務(wù)和存儲技術(shù)的發(fā)展逐漸產(chǎn)生大量具有復(fù)雜結(jié)構(gòu)的異構(gòu)數(shù)據(jù)。具有多種統(tǒng)計特性、復(fù)雜分布的異構(gòu)數(shù)據(jù)壓縮的關(guān)鍵在于捕捉其中復(fù)雜的結(jié)構(gòu)依賴性?；诮Y(jié)構(gòu)化概率模型學(xué)習(xí)利用概率圖模型來表示異構(gòu)數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，并進行模型推斷和學(xué)習(xí)，以及由推理算法優(yōu)化學(xué)習(xí)過程。通過優(yōu)化學(xué)習(xí)，結(jié)構(gòu)化概率模型能夠根據(jù)異構(gòu)數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，對預(yù)測問題進行同步的集合預(yù)測，能夠產(chǎn)生少于逐個進行預(yù)測的信息量，所以它們更適合用于異構(gòu)結(jié)構(gòu)壓縮中。本文首先根據(jù)異構(gòu)數(shù)據(jù)的結(jié)構(gòu)特

2、點建立廣義上下文模型，并在此基礎(chǔ)上，將基于結(jié)構(gòu)化概率模型學(xué)習(xí)應(yīng)用于異構(gòu)數(shù)據(jù)壓縮中，如基因測序序列壓縮、圖像無損編碼以及視頻幀內(nèi)編碼等。
　　首先，本文拓展了采用已預(yù)測子序列后綴的經(jīng)典上下文，通過組合重排和多方向擴展，生成多個方向上已預(yù)測符號的任意組合作為上下文，并構(gòu)建模型。對于具有多方向上已預(yù)測符號有限價組合的組合排列的上下文結(jié)構(gòu)，廣義上下文模型引入和建立模型樹來表示和選取它們的結(jié)構(gòu)，并使用歸一化最大似然函數(shù)來估計最優(yōu)上下文模型組

3、合的結(jié)構(gòu)和參數(shù)，及進一步對廣義上下文模型類進行上下文篩選來排除冗余模型，最終獲得最小描述長度準則下最優(yōu)模型組合。基于所選最優(yōu)模型組合，能夠推導(dǎo)出用于預(yù)測的加權(quán)估計概率。廣義上下文模型的模型冗余被證明為與數(shù)據(jù)大小無關(guān)。
　　廣義上下文模型充分考慮符號間依賴性，得出它們的預(yù)測概率，因此其實質(zhì)上為結(jié)構(gòu)化概率模型。將它應(yīng)用在Calgary全集中異構(gòu)數(shù)據(jù)以及可執(zhí)行程序中時，基于最大似然估計預(yù)測的壓縮性有所提升。因此可以預(yù)期基于結(jié)構(gòu)化概率模型

4、學(xué)習(xí)應(yīng)用于異構(gòu)數(shù)據(jù)壓縮中會有更好的壓縮性能。于是我們將基于結(jié)構(gòu)化概率模型學(xué)習(xí)應(yīng)用于三種異構(gòu)數(shù)據(jù)：基因、圖像和視頻中。
　　本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的基因測序序列壓縮方案，通過分層預(yù)測結(jié)構(gòu)來優(yōu)化目標和參考序列的差值以用于小波編碼。該方案為目標序列中的每個核苷酸片段找出最匹配的參考片段，通過為包括匹配位移和大小的各種邊信息配置尋找具有最小編碼代價的片段來獲得。這樣獲得的差值序列適合于進行小波編碼，因為其中符號主要為零。同時

5、馬爾可夫鏈被用來表示各片段邊信息間依賴性，并在此約束下進行邊信息預(yù)測。置信傳播過程被用來獲得這些預(yù)測，通過在馬爾可夫鏈各結(jié)點間傳播最可能預(yù)測來結(jié)構(gòu)化地預(yù)測各結(jié)點對應(yīng)邊信息的邊際概率，并隨時進行更新。這種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的基因測序序列壓縮方案能夠通過目標和參考序列的差值有效利用它們間相關(guān)性，并同時利用邊信息間的依賴性來預(yù)測概率分布減少額外編碼開銷，因此相對于參照算法能夠明顯提升編碼性能。
　　本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)

6、習(xí)的圖像無損編碼方案，能夠同時利用基于二維上下文的空間統(tǒng)計相關(guān)性進行最優(yōu)預(yù)測，以及通過數(shù)據(jù)驅(qū)動的結(jié)構(gòu)依賴性約束預(yù)測誤差使之與碼字估計真實分布一致。使用最大邊際馬爾可夫網(wǎng)絡(luò)，通過局部結(jié)構(gòu)一致性的聯(lián)合約束來結(jié)構(gòu)化地組合支持向量機，由此對整個相關(guān)區(qū)域進行最大邊際估計。通過訓(xùn)練不同上下文環(huán)境下的模型參數(shù)，使得訓(xùn)練中各像素真實值與其它可能值之間的區(qū)別邊際最大，從而得到基于上下文的最優(yōu)預(yù)測。在可分解損失函數(shù)下隨著充分采樣，預(yù)測誤差能夠漸近逼近訓(xùn)練誤

7、差。自然測試圖像無損編碼的結(jié)果也驗證了其性能。
　　本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的視頻幀內(nèi)編碼方案?；诮Y(jié)構(gòu)化概率模型學(xué)習(xí)的預(yù)測與高性能視頻編碼進行集成，作為可選模式進行率失真優(yōu)化，從而對整個亮度塊同時預(yù)測得到最優(yōu)率失真性能。并且使用最大邊際馬爾可夫網(wǎng)絡(luò)約束整個亮度塊基于最大邊際估計的預(yù)測，使之符合二維離散余弦變換的真實概率分布，所以拉普拉斯損失函數(shù)被用來衡量訓(xùn)練與預(yù)測中的損失。由于有損編碼中殘差通常符合拉普拉斯分布，在求