基于GPU的視頻大數(shù)據(jù)處理方法研究.pdf

1、非結(jié)構(gòu)化的視頻大數(shù)據(jù)具有體量大、信息量大、分析難、計算耗時等特點。隨著大數(shù)據(jù)處理需求越來越大，先后出現(xiàn)了以處理結(jié)構(gòu)化數(shù)據(jù)為中心的大數(shù)據(jù)處理框架Hadoop和Spark，大數(shù)據(jù)框架的出現(xiàn)為視頻大數(shù)據(jù)的存儲和分析提供了新的思路。與此同時，GPU并行計算技術(shù)在視頻和圖像處理領(lǐng)域的發(fā)展也取得了較大突破，同樣可以為視頻大數(shù)據(jù)的處理過程提供強有力的支撐。本文將探索GPU并行計算與視頻大數(shù)據(jù)處理技術(shù)的有效結(jié)合，以解決視頻大數(shù)據(jù)的處理難題，最后以海冰視

2、頻分析為例驗證本研究內(nèi)容。
　　在視頻預(yù)處理階段，采用NVCUVID視頻解碼API實現(xiàn)泛格式視頻解碼庫，有效降低高CPU占用；采用NVENC視頻編碼API實現(xiàn)泛格式視頻編碼庫，加快編碼速度；針對海冰視頻圖像幀的特點，提出結(jié)合混合高斯背景建模算法和幀差法實現(xiàn)的海冰視頻摘要幀提取算法，并采用GPU并行計算進行加速。分別通過三組實驗驗證上述實現(xiàn)和并行算法。
　　在視頻圖像幀內(nèi)容分析階段，針對海冰視頻內(nèi)容分析的特點，提出了一種連通區(qū)

3、域快速標(biāo)定與提取算法。將該算法應(yīng)用于具有高密集度的海冰圖像參數(shù)分析，可以有效解決現(xiàn)存連通區(qū)域搜索算法無法快速處理大尺寸海冰圖像分析的問題。針對基于GPU并行編程技術(shù)實現(xiàn)的視頻預(yù)處理庫，通過Spark的pipe動作（Action）設(shè)計了Spark的調(diào)用接口。針對采用C++實現(xiàn)的海冰圖像幀外部分析庫，通過JNI技術(shù)設(shè)計了相應(yīng)的Spark調(diào)用接口。
　　最終設(shè)計并實現(xiàn)了基于GPU的海冰視頻大數(shù)據(jù)處理平臺。以HDFS上的海冰視頻為輸入數(shù)據(jù)