面向相似數(shù)據(jù)的無損壓縮技術(shù).pdf

1、伴隨著信息時(shí)代信息量的膨脹，無論是網(wǎng)絡(luò)信息、觀測(cè)數(shù)據(jù)以及生物信息都存在著大量相似程度很高的數(shù)據(jù)。然而傳統(tǒng)的壓縮方法對(duì)于這種數(shù)據(jù)項(xiàng)之間差異量很小的數(shù)據(jù)沒能夠利用這種特性提供更好的壓縮效果，因此如何對(duì)這種相似數(shù)據(jù)進(jìn)行有效的無損壓縮具有重要的意義。
　　目前，針對(duì)擁有極高相似度的生物數(shù)據(jù)，很多學(xué)者研究并應(yīng)用了一種基于差異量表示的無損壓縮技術(shù)，即用一個(gè)基礎(chǔ)序列加上一系列差異量來表示原序列，由于數(shù)據(jù)的高相似程度，只需要非常少的差異量就可以表

2、示原本龐大的生物序列信息，達(dá)到了很好的壓縮效果。同時(shí)面對(duì)具有高維屬性的數(shù)據(jù)庫文件，部分學(xué)者依然應(yīng)用了基于語義信息的差異壓縮手段對(duì)數(shù)據(jù)庫表項(xiàng)進(jìn)行相似壓縮。本文主要研究針對(duì)一般性的高相似度數(shù)據(jù)，如何應(yīng)用基礎(chǔ)序列附加差異量的技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的高效壓縮及解壓還原。
　　首先，本文對(duì)基于差異表示的無損壓縮框架進(jìn)行了概述。通過對(duì)現(xiàn)有技術(shù)的分析比較，本文提出了面向相似數(shù)據(jù)的無損壓縮技術(shù)，即對(duì)高相似度的數(shù)據(jù)采用基礎(chǔ)序列加上一組基于編輯距離或Smit

3、h Waterman相似度的差異量來表示整個(gè)數(shù)據(jù)集的技術(shù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)集的高度壓縮。針對(duì)現(xiàn)實(shí)中數(shù)據(jù)分段相似的特點(diǎn)，本文提出了一種先聚類再壓縮的思想，即首先將彼此高度相似的數(shù)據(jù)聚類在一起，對(duì)聚類簇中的數(shù)據(jù)實(shí)現(xiàn)只用極少的差異量表示的高壓縮比率，同時(shí)優(yōu)化了聚類個(gè)數(shù)，使整個(gè)數(shù)據(jù)壓縮在數(shù)據(jù)聚類個(gè)數(shù)和數(shù)據(jù)聚類相似性的矛盾之間找到了一個(gè)合理的折中點(diǎn)，實(shí)現(xiàn)了數(shù)據(jù)壓縮的優(yōu)化。同時(shí)針對(duì)字符序列中心問題，本文借鑒序列比對(duì)和字頻統(tǒng)計(jì)的技術(shù)，提出了以虛擬聚類中心作