云計(jì)算平臺(tái)下遙感圖像分類(lèi)算法的并行化技術(shù)研究.pdf

1、高光譜遙感圖像中包含著豐富的空間信息和光譜信息，使其在地物識(shí)別和分類(lèi)方面較其他遙感圖像更具優(yōu)勢(shì)，因此它在軍事偵查、資源勘探和環(huán)境監(jiān)測(cè)等領(lǐng)域廣泛應(yīng)用。高光譜遙感圖像分類(lèi)是高光譜圖像處理的重要內(nèi)容之一，由于高光譜遙感圖像具有高維、波段多、數(shù)據(jù)量大的特點(diǎn)，現(xiàn)有串行分類(lèi)算法計(jì)算復(fù)雜度較高，算法的實(shí)時(shí)性并不好，同時(shí)隨著遙感器分辨率的不斷提升，高光譜遙感圖像數(shù)據(jù)量呈幾何式增長(zhǎng)，現(xiàn)有的單機(jī)計(jì)算平臺(tái)難以處理產(chǎn)生的海量高光譜遙感圖像數(shù)據(jù)。云計(jì)算技術(shù)具備分

2、布式存儲(chǔ)和分布式計(jì)算的特點(diǎn)，能夠有效解決高光譜遙感圖像分類(lèi)的單機(jī)瓶頸問(wèn)題。云計(jì)算平臺(tái)下任務(wù)調(diào)度算法對(duì)任務(wù)的執(zhí)行性能有著非常重要的影響，合適的調(diào)度策略可以提高任務(wù)的執(zhí)行速度。因此本文對(duì)云計(jì)算平臺(tái)下基于空間相關(guān)性正則化稀疏表示的高光譜遙感圖像分類(lèi)方法SCSRC的并行化和任務(wù)調(diào)度展開(kāi)了深入研究，主要工作有:
　　(1)常規(guī)遙感圖像的傳統(tǒng)分類(lèi)算法并不能滿足大數(shù)據(jù)量的高光譜遙感圖像的分類(lèi)需求，因此有學(xué)者提出了基于空間相關(guān)性正則化的稀疏表示分

3、類(lèi)方法SCSRC，這種分類(lèi)方法不僅利用了高光譜遙感圖像的光譜信息，而且添加了圖像空間相鄰數(shù)據(jù)之間的信息，取得了較好的分類(lèi)效果。本文首先研究并在單機(jī)上實(shí)現(xiàn)了SCSRC方法，并通過(guò)實(shí)驗(yàn)分析了該方法的時(shí)間性能，為后續(xù)云計(jì)算平臺(tái)下的并行化研究提供對(duì)比依據(jù)。
　　(2)由于SCSRC算法的計(jì)算復(fù)雜度較高，并且還受到單機(jī)尺度的限制，因此在分析SCSRC算法性能瓶頸的基礎(chǔ)上，分別在Hadoop和Spark平臺(tái)下設(shè)計(jì)了SCSRC的并行化方法MR_

4、SCSRC和SK_SCSRC。在MR_SCSRC算法中首先設(shè)計(jì)了基于外積法實(shí)現(xiàn)矩陣相乘的MapReduce方法，然后從降低Map階段IO次數(shù)、合并計(jì)算邏輯和實(shí)現(xiàn)本地化規(guī)約三個(gè)方面對(duì)算法進(jìn)行了優(yōu)化。鑒于在Hadoop的基礎(chǔ)上發(fā)展而來(lái)的Spark更適用于迭代計(jì)算，參考MR_SCSRC的實(shí)現(xiàn)思路，進(jìn)一步設(shè)計(jì)了基于Spark_RDD編程模型的SK_SCSRC方法。最后通過(guò)實(shí)驗(yàn)給出了SK_SCSRC算法的加速比和擴(kuò)展比，并將MR_SCSRC和SK