云平臺下光譜數(shù)據(jù)快速無損壓縮技術的研究.pdf

1、近年來，隨著計算機性能的大幅提升、近紅外光譜儀器的改進和化學計量學數(shù)據(jù)處理方法的研發(fā)，光譜技術在工業(yè)、農(nóng)業(yè)、醫(yī)藥等領域得到了廣泛應用。由于近紅外光譜儀器具有快速和非損壞性檢測、操作成本低、無需復雜預處理等一系列特點，與化學計量法相結(jié)合，非常適合煙葉成分的定性定量分析。光譜儀器會產(chǎn)生海量的數(shù)據(jù)，如何對這些數(shù)據(jù)進行存儲、分析、挖掘成為制約光譜技術應用的瓶頸。針對這些問題，本文從以下幾個方面來進行云存儲環(huán)境下光譜數(shù)據(jù)快速無損壓縮技術的研究:<

2、br>　　一、深入研究了云存儲的概念、體系結(jié)構(gòu)和技術原理。對云存儲涉及到的關鍵技術如虛擬化技術、并行編程模式、分布式文件管理作了深度剖析，重點分析了Hadoop平臺中使用的MapReduce、HDFS等技術原理和實現(xiàn)過程。
　　二、通過實驗比較LZO、LZW和LZSS三種壓縮算法在使用內(nèi)存、壓縮時間、壓縮率和對不同數(shù)據(jù)壓縮效率等四個方面的不同表現(xiàn)。實驗分析得出，在相同環(huán)境下，LZO的壓縮、解壓縮速度是另外兩種壓縮算法的20倍以上，

3、而壓縮率只比LZW和LZ77算法低10％左右。壓縮數(shù)據(jù)量越大，LZO的時間優(yōu)勢越明顯。在云平臺分布式處理和并行傳輸環(huán)境下，通過損失部分壓縮率來換取壓縮時間是值得的，LZO算法更適合近紅外光譜文件在云平臺下的快速實時壓縮。
　　三、為了提高壓縮效率，針對光譜數(shù)據(jù)的完整性要求，只需對關鍵波段壓縮就能達到目的，因此，通過連續(xù)小波變換(CWT)建立關鍵波段集檢測數(shù)學模型，可快速檢測出海量光譜、質(zhì)譜文件中的關鍵波段集。該算法可通過個性化設定