Hadoop架構(gòu)下近紅外光譜大數(shù)據(jù)安全機(jī)制.pdf

1、近紅外光譜分析技術(shù)具有無損、檢測(cè)速度快等特點(diǎn)，廣泛地應(yīng)用在過程分析領(lǐng)域。該技術(shù)檢測(cè)產(chǎn)生的近紅外光譜數(shù)據(jù)量大，但單個(gè)近紅外光譜文件小(小于1MB)、信息量低，對(duì)海量近紅外光譜大數(shù)據(jù)的分析挖掘，最好的方法是借助云計(jì)算。在現(xiàn)有的云計(jì)算中，Hadoop云計(jì)算是比較流行的大數(shù)據(jù)處理平臺(tái)之一。用Hadoop處理近紅外光譜大數(shù)據(jù)，需考慮Hadoop架構(gòu)安全。Hadoop默認(rèn)使用64MB數(shù)據(jù)分塊存儲(chǔ)云端數(shù)據(jù)，近紅外光譜數(shù)據(jù)的單文件遠(yuǎn)小于Hadoop數(shù)據(jù)

2、分塊。因此，在Hadoop云端的近紅外光譜數(shù)據(jù)分塊上，存在有多個(gè)完整的近紅外光譜單文件，給云端近紅外光譜數(shù)據(jù)安全造成威脅。
　　針對(duì)上述近紅外光譜數(shù)據(jù)在Hadoop云端存在的安全問題，論文對(duì)Hadoop架構(gòu)和近紅外光譜大數(shù)據(jù)特點(diǎn)進(jìn)行了深入研究，提出了Hadoop架構(gòu)下近紅外光譜大數(shù)據(jù)安全機(jī)制。針對(duì)海量的近紅外光譜數(shù)據(jù)，建立近紅外光譜數(shù)據(jù)的關(guān)鍵波段集數(shù)學(xué)模型，區(qū)分和簡(jiǎn)化海量近紅外光譜數(shù)據(jù)中關(guān)鍵波段區(qū)數(shù)據(jù)和其他數(shù)據(jù)。設(shè)計(jì)二分關(guān)鍵波段集

3、檢測(cè)算法，高效檢測(cè)出海量近紅外光譜單文件中的關(guān)鍵波段集。算法可以人工設(shè)定程序?qū)庾V文件中關(guān)鍵波段集的檢測(cè)范圍及步長(zhǎng)，并對(duì)檢測(cè)到的關(guān)鍵波段集進(jìn)行加密保護(hù)，在光譜數(shù)據(jù)文件中形成加密和非加密數(shù)據(jù)并存狀態(tài)。關(guān)鍵波段集檢測(cè)加密完后，采用兼容Hadoop分塊操作的LZO字典壓縮算法對(duì)近紅外光譜數(shù)據(jù)進(jìn)行壓縮合并，并上傳到Hadoop集群保存。
　　Hadoop架構(gòu)下的近紅外光譜大數(shù)據(jù)安全機(jī)制，在不降低Hadoop集群性能的前提下，對(duì)客戶端海量近