基于Hadoop的廣電監(jiān)測數(shù)據(jù)管理云平臺設(shè)計.pdf

1、隨著計算機技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)行業(yè)進入了大數(shù)據(jù)的時代，每天都會產(chǎn)生許許多多的各類數(shù)據(jù)。廣電系統(tǒng)的監(jiān)測設(shè)備同樣也會產(chǎn)生越來越多各個類型的數(shù)據(jù)，然而傳統(tǒng)的廣電數(shù)據(jù)存儲與管理系統(tǒng)采用集中處理的方式，在巨大數(shù)據(jù)的沖擊下出現(xiàn)了瓶頸。
　　海量數(shù)據(jù)的存儲與管理在近些年一直在被研究。在許多開源社區(qū)的推動下，分布式數(shù)據(jù)的存儲管理技術(shù)得到巨大的發(fā)展，多種多樣的計算框架以及平臺被提出來。Hadoop作為分布式計算平臺中的翹楚在通信、醫(yī)療和金融等各大

2、領(lǐng)域都有了一定的研究和應(yīng)用。廣電監(jiān)測系統(tǒng)產(chǎn)生的數(shù)據(jù)主要是結(jié)構(gòu)化的文本數(shù)據(jù)和視頻音頻信號等非結(jié)構(gòu)化數(shù)據(jù)。由于需要解決大量數(shù)據(jù)的處理，符合大數(shù)據(jù)平臺處理標(biāo)準(zhǔn)。所以本文將Hadoop這種分布式數(shù)據(jù)存儲與管理的技術(shù)運用到廣電系統(tǒng)中以解決數(shù)據(jù)計算的瓶頸問題。本文主要研究的內(nèi)容如下：
　　1、對HDFS文件系統(tǒng)和MapReduce并行計算框架進行分析，以及對文本數(shù)據(jù)搜索和視頻數(shù)據(jù)的轉(zhuǎn)碼進行研究。根據(jù)廣電系統(tǒng)的數(shù)據(jù)處理需求，提出一個系統(tǒng)設(shè)計的解

3、決方案。
　　2、為解決平臺對廣電監(jiān)測系統(tǒng)監(jiān)測數(shù)據(jù)的傳輸、處理和節(jié)點信息監(jiān)控等問題，本文主要研究了海量數(shù)據(jù)存儲和管理平臺的數(shù)據(jù)節(jié)點信息管理及優(yōu)化、數(shù)據(jù)上傳下載的轉(zhuǎn)存和傳輸模塊設(shè)計、文本數(shù)據(jù)的搜索和監(jiān)控視頻數(shù)據(jù)的分布式轉(zhuǎn)碼和存儲。
　　最后對本文設(shè)計的海量數(shù)據(jù)管理系統(tǒng)進行自動化數(shù)據(jù)測試，通過對數(shù)據(jù)存儲和管理平臺的各類數(shù)據(jù)存儲、數(shù)據(jù)上傳和下載速度、文本數(shù)據(jù)的搜索和視頻數(shù)據(jù)的分布式轉(zhuǎn)碼測試和分析。可以得到實驗結(jié)果：Hadoop云平