土豆網(wǎng)視頻搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、土豆網(wǎng)是國(guó)內(nèi)最早開(kāi)展視頻分享業(yè)務(wù)的網(wǎng)站。土豆網(wǎng)經(jīng)過(guò)了幾年的發(fā)展，目前已經(jīng)發(fā)展成為每天有1億多次Page View（簡(jiǎn)稱(chēng)PV）和幾萬(wàn)個(gè)視頻上傳的視頻網(wǎng)站。在土豆網(wǎng)上，每天都有大量的用戶上傳視頻節(jié)目，到目前為止土豆網(wǎng)上已經(jīng)擁有了2000多萬(wàn)的視頻節(jié)目。這些節(jié)目每天大約被觀看8000多萬(wàn)次，用戶在觀看視頻前，最重要的是要能夠找到自己想要看的視頻，這就不得不依靠網(wǎng)站的視頻搜索功能。
　　 本論文首先概括和介紹了一些搜索引擎相關(guān)的技術(shù)，說(shuō)

2、明了垂直搜索引擎的概念。重點(diǎn)介紹了Lucene這個(gè)開(kāi)源的搜索引擎的開(kāi)發(fā)框架。簡(jiǎn)單說(shuō)明了采用Lucene進(jìn)行索引和搜索的基本過(guò)程和相關(guān)的API。中文分詞是搜索引擎中比較重要的部分，本文分析了正向和逆向的最大匹配分詞以及基于統(tǒng)計(jì)的分詞方法。
　　 本文的重點(diǎn)是對(duì)視頻搜索引擎的架構(gòu)進(jìn)行了詳細(xì)的設(shè)計(jì)和實(shí)現(xiàn)。將整個(gè)系統(tǒng)按照模塊劃分為視頻搜索portal、視頻搜索查詢(xún)、視頻數(shù)據(jù)索引三部分。然后對(duì)系統(tǒng)進(jìn)行了分層的架構(gòu)設(shè)計(jì)，整個(gè)系統(tǒng)總共分為5層

3、，包括：數(shù)據(jù)庫(kù)層、索引層、查詢(xún)層、portal層以及頁(yè)面緩存層。其中頁(yè)面緩存層采用開(kāi)源的Squid服務(wù)器進(jìn)行實(shí)現(xiàn)請(qǐng)求處理和緩存的功能，同時(shí)采用Squid的sibling的運(yùn)行模式實(shí)現(xiàn)負(fù)載均衡。對(duì)于核心的索引層、查詢(xún)層和portal層進(jìn)行了詳細(xì)的處理流程的分析和設(shè)計(jì)。對(duì)不同層次之間的通信方式和數(shù)據(jù)交換格式都進(jìn)行了專(zhuān)門(mén)的設(shè)計(jì)。在視頻搜索引擎的實(shí)現(xiàn)方面，本文采用Java進(jìn)行了主要的功能模塊的開(kāi)發(fā)。采用Tomcat作為web容器，memcach

4、ed作為內(nèi)存緩存服務(wù)器，還有MySQL數(shù)據(jù)庫(kù)服務(wù)器。在索引和查詢(xún)的這兩個(gè)過(guò)程中都非常依賴(lài)中文分詞技術(shù)，本文采用了正向最大匹配的分詞算法。對(duì)于日期、中文數(shù)字、繁體字、特殊字符都進(jìn)行轉(zhuǎn)換，使用自定義的精簡(jiǎn)的詞庫(kù)進(jìn)行了中文分詞算法的實(shí)現(xiàn)。對(duì)于視頻搜索結(jié)果的排序，本文設(shè)計(jì)和實(shí)現(xiàn)了一套使用視頻相關(guān)的播放次數(shù)、上傳時(shí)間、被評(píng)論的次數(shù)等多重指標(biāo)進(jìn)行綜合權(quán)重計(jì)算的排序算法。最終成功地設(shè)計(jì)和實(shí)現(xiàn)了一套完整的視頻搜索引擎系統(tǒng)，為土豆網(wǎng)提供了強(qiáng)大的視頻搜索功

5、能，滿足了用戶搜索視頻的需求。
　　 經(jīng)過(guò)反復(fù)的設(shè)計(jì)和實(shí)踐，整個(gè)視頻搜索引擎系統(tǒng)逐步的穩(wěn)定和完善，中文分詞工具包的質(zhì)量也達(dá)到了比較高的水平，視頻排序算法的實(shí)現(xiàn)為整個(gè)搜索引擎質(zhì)量的提升起到了非常重要的作用。系統(tǒng)的架構(gòu)也在實(shí)踐中得到了檢驗(yàn)，在每天幾千萬(wàn)的訪問(wèn)情況下，系統(tǒng)能夠非常穩(wěn)定的運(yùn)行。目前，土豆網(wǎng)每天有1500萬(wàn)次的視頻搜索，通過(guò)視頻搜索功能帶給網(wǎng)站1000多萬(wàn)的播放次數(shù)。土豆網(wǎng)的視頻搜索系統(tǒng)既方便了用戶，也為網(wǎng)站帶來(lái)了可觀的點(diǎn)