基于Hadoop的視頻爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的迅猛發(fā)展,網(wǎng)絡(luò)使用人群日益擴(kuò)大,數(shù)字媒體作品數(shù)量快速增長(zhǎng)。面對(duì)網(wǎng)絡(luò)上如此海量的媒體作品,版權(quán)保護(hù)成為了一個(gè)亟待解決的問(wèn)題。運(yùn)用拷貝檢測(cè)技術(shù)實(shí)現(xiàn)內(nèi)容拷貝追蹤,是一種行之有效的數(shù)字內(nèi)容版權(quán)保護(hù)方案。而如何獲取海量媒體資源是拷貝追蹤技術(shù)中的一個(gè)難點(diǎn)。尤其是視頻媒體,數(shù)量大,更新快,內(nèi)容多,下載難。如今快速發(fā)展的云計(jì)算在海量數(shù)據(jù)處理方面呈現(xiàn)了極大的優(yōu)勢(shì),鑒于此,本文利用Hadoop框架實(shí)現(xiàn)分布式視頻爬蟲系統(tǒng),為拷貝檢測(cè)系統(tǒng)收集待檢視頻

2、數(shù)據(jù)集。
　　本文重點(diǎn)研究了Hadoop框架的計(jì)算模型MapReduce,以及分布式文件系統(tǒng)HDFS,并分析了分布式爬蟲的關(guān)鍵技術(shù),討論了將Hadoop框架用于分布式爬蟲系統(tǒng)的優(yōu)勢(shì)。由此設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的視頻爬蟲系統(tǒng)。利用Hadoop框架,實(shí)現(xiàn)了一個(gè)結(jié)點(diǎn)集中管理,多個(gè)子結(jié)點(diǎn)并行工作的系統(tǒng)架構(gòu),同時(shí)總結(jié)點(diǎn)與子結(jié)點(diǎn)的心跳檢測(cè)機(jī)制,有效解決了子結(jié)點(diǎn)動(dòng)態(tài)退出的問(wèn)題。運(yùn)用MapReduce計(jì)算模型實(shí)現(xiàn)具體的網(wǎng)頁(yè)抓取、分析、去重,

3、下載等計(jì)算任務(wù),并利用廣度優(yōu)先搜索策略,以及基于磁盤的去重機(jī)制,保證了爬蟲系統(tǒng)的高效爬行。同時(shí)分析如何對(duì)URL集進(jìn)行分區(qū),以保證各爬行結(jié)點(diǎn)負(fù)載均衡。HDFS分布式文件系統(tǒng)存儲(chǔ)各階段計(jì)算任務(wù)的結(jié)果,以備下個(gè)計(jì)算任務(wù)使用,并運(yùn)用多處備份機(jī)制,使得在某個(gè)結(jié)點(diǎn)退出時(shí)轉(zhuǎn)移任務(wù)集,不影響整個(gè)系統(tǒng)的穩(wěn)定性和有效性。針對(duì)目前主流視頻網(wǎng)站的視頻下載難題,以騰訊等視頻網(wǎng)站為例進(jìn)行詳細(xì)說(shuō)明,給出了視頻下載的解決方案。
　　最后,通過(guò)配置多個(gè)爬行結(jié)點(diǎn),對(duì)