網(wǎng)絡(luò)視頻爬蟲的緩存和更新策略.pdf

1、隨著視頻技術(shù)在互聯(lián)網(wǎng)上的應(yīng)用,網(wǎng)絡(luò)視頻成為互聯(lián)網(wǎng)越來越重要的組成部分。傳統(tǒng)的文本搜索引擎已經(jīng)不能滿足人們對(duì)視頻搜索的需要,如何查找這些網(wǎng)絡(luò)視頻內(nèi)容成為近年來的研究熱點(diǎn)?；趫D像的視頻搜索引擎Go2View通過對(duì)網(wǎng)絡(luò)視頻進(jìn)行下載、分析并提取出可視化特征,為用戶建立起新的基于圖像的視頻搜索途徑。相比于傳統(tǒng)的文本搜索引擎,基于圖像的視頻搜索引擎在很多方面都還不完善,尤其是在內(nèi)容獲取和內(nèi)容更新上,如不突破將成為視頻搜索引擎發(fā)展的瓶頸。

2、本文針對(duì)這兩點(diǎn)提出了網(wǎng)絡(luò)視頻爬蟲緩存算法的設(shè)計(jì)和更新策略的改進(jìn)。論文首先介紹了基于圖像的視頻搜索引擎Go2View和其視頻爬蟲InfoGather的架構(gòu)和特點(diǎn),接著從網(wǎng)絡(luò)視頻爬蟲的工作方式入手,詳細(xì)討論了緩存算法和更新策略的設(shè)計(jì)。 在緩存設(shè)計(jì)方面,通過對(duì)比分析幾種不同緩存算法在普通網(wǎng)絡(luò)爬蟲中的應(yīng)用,結(jié)合網(wǎng)絡(luò)視頻爬蟲的特點(diǎn),提出了網(wǎng)絡(luò)視頻爬蟲的LRU改進(jìn)算法。文章給出了該算法的詳細(xì)設(shè)計(jì)方案,并對(duì)實(shí)現(xiàn)LRU緩存的雙鏈表結(jié)構(gòu)進(jìn)行了闡述