面向相似數(shù)據(jù)的無損壓縮技術(shù).pdf

1、伴隨著信息時代信息量的膨脹，無論是網(wǎng)絡(luò)信息、觀測數(shù)據(jù)以及生物信息都存在著大量相似程度很高的數(shù)據(jù)。然而傳統(tǒng)的壓縮方法對于這種數(shù)據(jù)項之間差異量很小的數(shù)據(jù)沒能夠利用這種特性提供更好的壓縮效果，因此如何對這種相似數(shù)據(jù)進行有效的無損壓縮具有重要的意義。
　　目前，針對擁有極高相似度的生物數(shù)據(jù)，很多學(xué)者研究并應(yīng)用了一種基于差異量表示的無損壓縮技術(shù)，即用一個基礎(chǔ)序列加上一系列差異量來表示原序列，由于數(shù)據(jù)的高相似程度，只需要非常少的差異量就可以表

2、示原本龐大的生物序列信息，達到了很好的壓縮效果。同時面對具有高維屬性的數(shù)據(jù)庫文件，部分學(xué)者依然應(yīng)用了基于語義信息的差異壓縮手段對數(shù)據(jù)庫表項進行相似壓縮。本文主要研究針對一般性的高相似度數(shù)據(jù)，如何應(yīng)用基礎(chǔ)序列附加差異量的技術(shù)實現(xiàn)對數(shù)據(jù)的高效壓縮及解壓還原。
　　首先，本文對基于差異表示的無損壓縮框架進行了概述。通過對現(xiàn)有技術(shù)的分析比較，本文提出了面向相似數(shù)據(jù)的無損壓縮技術(shù)，即對高相似度的數(shù)據(jù)采用基礎(chǔ)序列加上一組基于編輯距離或Smit

3、h Waterman相似度的差異量來表示整個數(shù)據(jù)集的技術(shù)，實現(xiàn)對數(shù)據(jù)集的高度壓縮。針對現(xiàn)實中數(shù)據(jù)分段相似的特點，本文提出了一種先聚類再壓縮的思想，即首先將彼此高度相似的數(shù)據(jù)聚類在一起，對聚類簇中的數(shù)據(jù)實現(xiàn)只用極少的差異量表示的高壓縮比率，同時優(yōu)化了聚類個數(shù)，使整個數(shù)據(jù)壓縮在數(shù)據(jù)聚類個數(shù)和數(shù)據(jù)聚類相似性的矛盾之間找到了一個合理的折中點，實現(xiàn)了數(shù)據(jù)壓縮的優(yōu)化。同時針對字符序列中心問題，本文借鑒序列比對和字頻統(tǒng)計的技術(shù)，提出了以虛擬聚類中心作