互聯(lián)網(wǎng)視頻信息獲取技術(shù)研究與實(shí)現(xiàn).pdf

1、近年來(lái)隨著視頻服務(wù)網(wǎng)站的蓬勃發(fā)展，對(duì)Internet上的視頻信息進(jìn)行數(shù)據(jù)集成已經(jīng)成為互聯(lián)網(wǎng)應(yīng)用的迫切需求。
　　 視頻信息分布于于無(wú)數(shù)的、結(jié)構(gòu)和內(nèi)容互異的網(wǎng)頁(yè)中，因此，為了獲取互聯(lián)網(wǎng)視頻信息，必須解決以下兩個(gè)問題：
　　 1)如何荻取這些存放視頻信息的網(wǎng)頁(yè)；
　　 2)如何從這些網(wǎng)頁(yè)中將視頻信息抽取出來(lái)。
　　 通常這兩個(gè)問題并不是孤立的。一般而言，針對(duì)某一類在結(jié)構(gòu)或內(nèi)容上具有某種特殊性的網(wǎng)頁(yè)容易設(shè)計(jì)出較

2、高效的信息抽取方法：為了設(shè)計(jì)高效而可行的信息抽取方法，也要求所處理的網(wǎng)頁(yè)并不是完全雜亂無(wú)章，而是某一類的網(wǎng)頁(yè)。
　　 本文圍繞以上兩個(gè)問題進(jìn)行了相關(guān)研究并提出了解決方案，該方案包括以下兩個(gè)方面：
　　 1)在網(wǎng)頁(yè)獲取方面，本文針對(duì)視頻服務(wù)網(wǎng)站的特點(diǎn)，將要獲取的網(wǎng)頁(yè)鎖定在搜索結(jié)果頁(yè)、視頻播放頁(yè)等兩類網(wǎng)頁(yè)，并研究相應(yīng)的獲取方法。其中搜索結(jié)果頁(yè)的獲取主要針對(duì)大型視頻服務(wù)網(wǎng)站，視頻播放頁(yè)獲取主要針對(duì)小型視頻服務(wù)網(wǎng)站。搜索結(jié)果頁(yè)獲

3、取的步驟包括：a)定位web數(shù)據(jù)庫(kù)入口；b)用模擬人工操作的方法獲得搜索結(jié)果頁(yè)，進(jìn)而獲得URL組裝機(jī)；c)用URL組裝機(jī)組裝不同搜索字對(duì)應(yīng)的搜索結(jié)果頁(yè)的URL，并獲取相應(yīng)的搜索結(jié)果頁(yè)。視頻播放頁(yè)獲取步驟為：a)利用通用網(wǎng)絡(luò)爬蟲獲取網(wǎng)頁(yè)；b)通過(guò)特征腳本URL、播放器父節(jié)點(diǎn)的HTML文本、播放頁(yè)模板集這三個(gè)要素的判定，識(shí)別網(wǎng)頁(yè)是否為視頻播放頁(yè)。
　　 2)在信息抽取方面，本文結(jié)合視頻服務(wù)網(wǎng)站中搜索結(jié)果頁(yè)的結(jié)構(gòu)特點(diǎn)以及網(wǎng)頁(yè)的視覺信息

4、，通過(guò)改進(jìn)一般的數(shù)據(jù)列表頁(yè)的信息抽取方法，提出了一種有效的信息抽取方法。該方法首先利用網(wǎng)頁(yè)視覺信息定位數(shù)據(jù)區(qū)域(data region)，然后通過(guò)子樹匹配確定數(shù)據(jù)區(qū)域中所有數(shù)據(jù)項(xiàng)的path，后續(xù)網(wǎng)頁(yè)則可以使用數(shù)據(jù)項(xiàng)的path抽取出來(lái)；結(jié)合視頻服務(wù)網(wǎng)站中視頻播放頁(yè)的特點(diǎn)，通過(guò)改進(jìn)一般的非數(shù)據(jù)列表頁(yè)的數(shù)據(jù)抽取方法，提出了在視頻播放頁(yè)中進(jìn)行視頻信息抽取的方法。該方法通過(guò)依次去除背景噪聲、隨機(jī)噪聲、殘留噪聲來(lái)實(shí)現(xiàn)。
　　 上述方法已應(yīng)用