基于hadoop開源框架的視頻內(nèi)容分發(fā)平臺(tái)研究

1、2013年3月月刊總第251期基于Hadoop開源框架的視頻內(nèi)容分發(fā)平臺(tái)研究摘要：本文分析了云計(jì)算的發(fā)展現(xiàn)狀和Hadoop開源云計(jì)算框架，分析了視頻內(nèi)容分發(fā)關(guān)鍵技術(shù)，在此基礎(chǔ)上提出了基于Hodoop開源框架的視頻內(nèi)容分發(fā)平臺(tái)設(shè)計(jì)。關(guān)鍵詞：云計(jì)算Hadoop開源視頻內(nèi)容分發(fā)平臺(tái)云存儲(chǔ)平臺(tái)文／廣播科學(xué)研究院葉志強(qiáng)劉晨鳴王一梅l概述繼個(gè)人計(jì)算機(jī)變革、互聯(lián)網(wǎng)變革之后，云計(jì)算被看作第三次IT浪潮，是戰(zhàn)略性新興產(chǎn)業(yè)的重要組成部分，云計(jì)算帶來了生活、

2、生產(chǎn)方式和商業(yè)模式的根本性變革，成為了當(dāng)前全社會(huì)關(guān)注的熱點(diǎn)。云計(jì)算具有分布式海量存儲(chǔ)、資源配置可伸縮性、易于部署、高性價(jià)比等特性。一直以來，廣播電視行業(yè)作為視頻業(yè)務(wù)的提供者和擁有者，積累了大量的視頻數(shù)據(jù)，并且擁有的視頻數(shù)據(jù)還在呈幾何性增長。隨著技術(shù)的進(jìn)步和三網(wǎng)融合進(jìn)程的加快，國際上谷歌、蘋果、微軟，國內(nèi)電信、互聯(lián)網(wǎng)、電視終端的知名企業(yè)都在嘗試對(duì)用戶收看電視方式進(jìn)行創(chuàng)新，電視正在從廣播式傳輸向互聯(lián)網(wǎng)化轉(zhuǎn)變，未來人們使用電視的方式將完全改變

3、，不再是拿著遙控器，在頻道之間來回轉(zhuǎn)換，而是隨時(shí)隨地地觀看自己想要的內(nèi)容，電視產(chǎn)業(yè)鏈的重心在向用戶端轉(zhuǎn)移，這將給傳統(tǒng)電視行業(yè)帶來顛覆性的沖擊。面對(duì)這種巨大沖擊，廣播電視內(nèi)容分發(fā)方式發(fā)生了轉(zhuǎn)變：不僅要面向播出機(jī)構(gòu)分發(fā)視頻內(nèi)容，還需向跨網(wǎng)絡(luò)、跨終端、面向個(gè)人用戶、快速分發(fā)等方式轉(zhuǎn)變；不僅要線性播出視頻內(nèi)容，還需向?yàn)橛脩籼峁┖Ａ恳曨l點(diǎn)播、視頻檢索、智能推送等新的服務(wù)方式轉(zhuǎn)變。因此，研究并設(shè)計(jì)～種基于云計(jì)算的節(jié)目內(nèi)容分發(fā)平臺(tái)架構(gòu)，既可以利用現(xiàn)有

4、的媒資管理平臺(tái)，使得設(shè)備利舊等問題得以解決，又可以豐富視頻內(nèi)容分發(fā)的業(yè)務(wù)模式，為云計(jì)算應(yīng)用于廣電行業(yè)探索一條可行的路徑。2Hadoop開源云計(jì)算框架開源技術(shù)在云計(jì)算中的應(yīng)用非常普遍。開源技術(shù)的免費(fèi)特性是其在云計(jì)算中廣泛應(yīng)用的原因之一，更重要的原因是開源技術(shù)能夠幫助開發(fā)者圍繞一個(gè)項(xiàng)目建立一個(gè)社區(qū)，從而推動(dòng)云計(jì)算的快速創(chuàng)新和應(yīng)用。開源技術(shù)給云計(jì)算帶來的是更加開放和靈活的構(gòu)建方法。而不會(huì)給云計(jì)算帶來鎖定。因此很多互聯(lián)網(wǎng)企業(yè)、IT知名公司都致力

5、于開源云計(jì)算技術(shù)的研究和應(yīng)用，甚至直接構(gòu)建基于開源技術(shù)的云計(jì)算平臺(tái)，例如：Hadoop開源框架是Google公司著名的GFS、MapRe—duce對(duì)應(yīng)的開源實(shí)現(xiàn)，雅虎公司的云平臺(tái)就是使用Hadoop開源框架作為其基礎(chǔ)平臺(tái)；Enomaly開源平臺(tái)提供了一個(gè)功能類似于Amazon(亞馬遜)EC2的云計(jì)算框架；還有諸如Euca—lyptus、SectorandSphere等一些業(yè)內(nèi)非常有名的云計(jì)算開源平臺(tái)。Hadoop是Apache開源組織的

6、一個(gè)分布式計(jì)算框架，可以在大量廉價(jià)的硬件設(shè)備組成的集群上運(yùn)行應(yīng)用程序，為應(yīng)用程序提供了一組穩(wěn)定可靠的接口，旨在構(gòu)建一個(gè)具有高可靠廣疆電狠信皇wwwrticn51萬方數(shù)據(jù)能力，整體系統(tǒng)的部署成本低，系統(tǒng)效率高，同時(shí)具有系統(tǒng)級(jí)的服務(wù)可靠性。但P2P技術(shù)在管理、安全性、穩(wěn)定性、大量占用網(wǎng)絡(luò)資源以及版權(quán)管理等方面存在明顯缺陷。4基于Hadoop開源框架的視頻內(nèi)容分發(fā)平臺(tái)設(shè)計(jì)云計(jì)算如何應(yīng)用于廣電，如何有效利用廣電行業(yè)豐富的音視頻內(nèi)容資源，使其高效

7、、可管可控地在內(nèi)容制作機(jī)構(gòu)、電視臺(tái)、播出機(jī)構(gòu)以及用戶之間“流動(dòng)”起來，既能夠提高用戶體驗(yàn)，又能夠節(jié)約資源共享成本，還能夠使資源得到多次的有效利用和再加工，使豐富的內(nèi)容資源成為再生內(nèi)容資源，我們做了如下思考：基于Hadoop開源框架可以搭建底層云存儲(chǔ)平臺(tái)，實(shí)現(xiàn)海量視頻內(nèi)容存儲(chǔ)、高效管理以及原有的設(shè)備利舊；利用Hadoop開源框架提供的系統(tǒng)API。結(jié)合不同操作系統(tǒng)的磁盤映射技術(shù)，可以設(shè)計(jì)中間層客戶端(Cli—ent)，實(shí)現(xiàn)底層硬件平臺(tái)對(duì)上層

8、應(yīng)用開據(jù)Hadoop開源框架提供的API搭建Client客戶端，以訪問底層存儲(chǔ)資源，并采用磁盤映射方式映射到應(yīng)用層所在的操作系統(tǒng)中，向上為應(yīng)用層提供訪問接口；應(yīng)用層無需考慮底層的具體實(shí)現(xiàn)，基于中間層提供的訪問接口開發(fā)各種應(yīng)用，如本平臺(tái)設(shè)計(jì)的平臺(tái)管理、DRM、內(nèi)容分發(fā)三個(gè)模塊。平臺(tái)設(shè)計(jì)時(shí)嚴(yán)格區(qū)分了控制信息流和數(shù)據(jù)傳輸流，既保證了數(shù)據(jù)的安全可靠性，同時(shí)還降低了中心節(jié)點(diǎn)的負(fù)擔(dān)。中心節(jié)點(diǎn)可以只承擔(dān)平臺(tái)管理功能，具體的視頻內(nèi)容傳輸可以依靠分節(jié)點(diǎn)完

9、成，如果中心節(jié)點(diǎn)也需要承擔(dān)視頻分發(fā)任務(wù)，可以把分發(fā)和管理兩個(gè)功能模塊分別指派給兩個(gè)服務(wù)器集群來完成。整個(gè)平臺(tái)采用模塊化的設(shè)計(jì)方式，分別是海量視頻內(nèi)容存儲(chǔ)模塊、視頻內(nèi)容分發(fā)模塊、平臺(tái)管理模塊、數(shù)字版權(quán)管理模塊幾個(gè)部分，具體模塊設(shè)計(jì)如下。(1)海量視頻內(nèi)容存儲(chǔ)模塊2013年3月月刊總第251期模塊采用基于Hadoop分布式文件系統(tǒng)(HDFS)來構(gòu)建底層存儲(chǔ)架構(gòu)?？蛻舳送ㄟ^NameNode管理文件系統(tǒng)的元數(shù)據(jù)，并通過元數(shù)據(jù)查找和使用實(shí)際存儲(chǔ)在

10、DataNode中的用戶數(shù)據(jù)。DataNode采用副本方式保證用戶數(shù)據(jù)的冗余，保障數(shù)據(jù)安全。HDFS框圖如圖5所示。(2)視頻內(nèi)容分發(fā)模塊這里借鑒了CDN和P2P混合傳輸技術(shù)的特點(diǎn)和實(shí)現(xiàn)方式，分發(fā)模塊框圖如圖6所示。節(jié)點(diǎn)分處不同地域，節(jié)目分發(fā)具有推送(push)和搜索下載(pull)兩種方式。各節(jié)點(diǎn)均可對(duì)其他節(jié)點(diǎn)推送視頻內(nèi)容，視頻用戶可以選擇距離用戶地最近的節(jié)點(diǎn)收看視頻；各節(jié)點(diǎn)也可在全網(wǎng)范圍內(nèi)提起視頻內(nèi)容搜索下載，中心節(jié)點(diǎn)會(huì)自動(dòng)計(jì)算視頻

11、所在地信息和負(fù)載信息，采用共享傳輸方式加速傳輸視頻內(nèi)容到視頻搜索下載發(fā)起節(jié)點(diǎn)。(3)平臺(tái)管理模塊管理模塊主要實(shí)現(xiàn)如下功能：全網(wǎng)節(jié)點(diǎn)數(shù)據(jù)管理、處理節(jié)目分發(fā)／接發(fā)的無關(guān)性和松耦合；一～一——————9t卜應(yīng)用層在前面兩個(gè)層次的基礎(chǔ)上J刪“‘?！啊?；j。。眥々ll乳州一結(jié)合CDN和P2P技術(shù)的特點(diǎn)，可以實(shí)現(xiàn)視頻內(nèi)容不同地域、無障礙的高效視頻內(nèi)容分發(fā)、去中心化、負(fù)載均衡、低成本部署、可管理性、安全性、版權(quán)可控等功能。。=，=rnt，在此基礎(chǔ)上，