Hadoop架構(gòu)下近紅外光譜大數(shù)據(jù)安全機制.pdf

1、近紅外光譜分析技術(shù)具有無損、檢測速度快等特點，廣泛地應(yīng)用在過程分析領(lǐng)域。該技術(shù)檢測產(chǎn)生的近紅外光譜數(shù)據(jù)量大，但單個近紅外光譜文件小(小于1MB)、信息量低，對海量近紅外光譜大數(shù)據(jù)的分析挖掘，最好的方法是借助云計算。在現(xiàn)有的云計算中，Hadoop云計算是比較流行的大數(shù)據(jù)處理平臺之一。用Hadoop處理近紅外光譜大數(shù)據(jù)，需考慮Hadoop架構(gòu)安全。Hadoop默認使用64MB數(shù)據(jù)分塊存儲云端數(shù)據(jù)，近紅外光譜數(shù)據(jù)的單文件遠小于Hadoop數(shù)據(jù)

2、分塊。因此，在Hadoop云端的近紅外光譜數(shù)據(jù)分塊上，存在有多個完整的近紅外光譜單文件，給云端近紅外光譜數(shù)據(jù)安全造成威脅。
　　針對上述近紅外光譜數(shù)據(jù)在Hadoop云端存在的安全問題，論文對Hadoop架構(gòu)和近紅外光譜大數(shù)據(jù)特點進行了深入研究，提出了Hadoop架構(gòu)下近紅外光譜大數(shù)據(jù)安全機制。針對海量的近紅外光譜數(shù)據(jù)，建立近紅外光譜數(shù)據(jù)的關(guān)鍵波段集數(shù)學(xué)模型，區(qū)分和簡化海量近紅外光譜數(shù)據(jù)中關(guān)鍵波段區(qū)數(shù)據(jù)和其他數(shù)據(jù)。設(shè)計二分關(guān)鍵波段集

3、檢測算法，高效檢測出海量近紅外光譜單文件中的關(guān)鍵波段集。算法可以人工設(shè)定程序?qū)庾V文件中關(guān)鍵波段集的檢測范圍及步長，并對檢測到的關(guān)鍵波段集進行加密保護，在光譜數(shù)據(jù)文件中形成加密和非加密數(shù)據(jù)并存狀態(tài)。關(guān)鍵波段集檢測加密完后，采用兼容Hadoop分塊操作的LZO字典壓縮算法對近紅外光譜數(shù)據(jù)進行壓縮合并，并上傳到Hadoop集群保存。
　　Hadoop架構(gòu)下的近紅外光譜大數(shù)據(jù)安全機制，在不降低Hadoop集群性能的前提下，對客戶端海量近