面向視頻圖像的大數(shù)據(jù)處理平臺架構研究分析.pdf

1、伴隨著移動互聯(lián)網(wǎng)和傳統(tǒng)互聯(lián)網(wǎng)的飛速發(fā)展，每天都有著數(shù)量眾多的文檔、圖像和視頻在互聯(lián)網(wǎng)上出現(xiàn)。目前，互聯(lián)網(wǎng)上的視頻圖像數(shù)據(jù)量已經(jīng)達到了PB級別，而且它們還將會急速地增長,這表明人們已經(jīng)進入到了海量視頻圖像數(shù)據(jù)的時代。面對數(shù)量如些龐大的視頻圖像數(shù)據(jù)，傳統(tǒng)的平臺已經(jīng)無法對如此海量視頻圖像數(shù)據(jù)進行處理，而且傳統(tǒng)的數(shù)據(jù)庫對于視頻圖像這種非結構化的數(shù)據(jù)也不能很好地存儲。因此，如何建立面向視頻圖像的高效且易擴展的大數(shù)據(jù)處理平臺來滿足海量視頻圖像的存儲

2、與管理，并為視頻圖像的處理提供所需要的服務，這成為了研究的重點。
　　面對這個問題，本文設計了一個面向視頻圖像的大數(shù)據(jù)處理平臺，為海量視頻圖像數(shù)據(jù)提供了存儲、計算與檢索功能。在這個大數(shù)據(jù)平臺中，主要依據(jù)視頻圖像的內容特征進行數(shù)據(jù)的存儲與檢索。整個大數(shù)據(jù)平臺是由 Hadoop和HBase所組成的，Hadoop完成對海量視頻圖像數(shù)據(jù)的分布式并行計算，而HBase則完成對海量視頻圖像數(shù)據(jù)的分布式存儲。針對圖像數(shù)據(jù)，采用SIFT算法來對圖

3、像的內容特征進行提取，并使用局部敏感哈希函數(shù)將提取得到的特征描述子轉化為索引，把相似的特征值映射到同一個哈希桶中并對相關數(shù)據(jù)進行存儲；而對于視頻數(shù)據(jù)，采用顏色直方圖的方式來對其進行鏡頭分割，并對分割后的鏡頭進行關鍵幀提取，隨后按照圖像數(shù)據(jù)的處理方式對關鍵幀進行處理，并把相關信息進行存儲。在檢索時，對需要檢索的視頻圖像數(shù)據(jù)進行特征提取并構建索引，依據(jù)索引在HBase數(shù)據(jù)表中進行檢索并將最相似的N個結果返回給用戶。
　　面向視頻圖像的