土豆網(wǎng)視頻搜索引擎系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、土豆網(wǎng)是國內(nèi)最早開展視頻分享業(yè)務(wù)的網(wǎng)站。土豆網(wǎng)經(jīng)過了幾年的發(fā)展，目前已經(jīng)發(fā)展成為每天有1億多次Page View（簡稱PV）和幾萬個視頻上傳的視頻網(wǎng)站。在土豆網(wǎng)上，每天都有大量的用戶上傳視頻節(jié)目，到目前為止土豆網(wǎng)上已經(jīng)擁有了2000多萬的視頻節(jié)目。這些節(jié)目每天大約被觀看8000多萬次，用戶在觀看視頻前，最重要的是要能夠找到自己想要看的視頻，這就不得不依靠網(wǎng)站的視頻搜索功能。
　　 本論文首先概括和介紹了一些搜索引擎相關(guān)的技術(shù)，說

2、明了垂直搜索引擎的概念。重點介紹了Lucene這個開源的搜索引擎的開發(fā)框架。簡單說明了采用Lucene進行索引和搜索的基本過程和相關(guān)的API。中文分詞是搜索引擎中比較重要的部分，本文分析了正向和逆向的最大匹配分詞以及基于統(tǒng)計的分詞方法。
　　 本文的重點是對視頻搜索引擎的架構(gòu)進行了詳細的設(shè)計和實現(xiàn)。將整個系統(tǒng)按照模塊劃分為視頻搜索portal、視頻搜索查詢、視頻數(shù)據(jù)索引三部分。然后對系統(tǒng)進行了分層的架構(gòu)設(shè)計，整個系統(tǒng)總共分為5層

3、，包括：數(shù)據(jù)庫層、索引層、查詢層、portal層以及頁面緩存層。其中頁面緩存層采用開源的Squid服務(wù)器進行實現(xiàn)請求處理和緩存的功能，同時采用Squid的sibling的運行模式實現(xiàn)負載均衡。對于核心的索引層、查詢層和portal層進行了詳細的處理流程的分析和設(shè)計。對不同層次之間的通信方式和數(shù)據(jù)交換格式都進行了專門的設(shè)計。在視頻搜索引擎的實現(xiàn)方面，本文采用Java進行了主要的功能模塊的開發(fā)。采用Tomcat作為web容器，memcach

4、ed作為內(nèi)存緩存服務(wù)器，還有MySQL數(shù)據(jù)庫服務(wù)器。在索引和查詢的這兩個過程中都非常依賴中文分詞技術(shù)，本文采用了正向最大匹配的分詞算法。對于日期、中文數(shù)字、繁體字、特殊字符都進行轉(zhuǎn)換，使用自定義的精簡的詞庫進行了中文分詞算法的實現(xiàn)。對于視頻搜索結(jié)果的排序，本文設(shè)計和實現(xiàn)了一套使用視頻相關(guān)的播放次數(shù)、上傳時間、被評論的次數(shù)等多重指標進行綜合權(quán)重計算的排序算法。最終成功地設(shè)計和實現(xiàn)了一套完整的視頻搜索引擎系統(tǒng)，為土豆網(wǎng)提供了強大的視頻搜索功

5、能，滿足了用戶搜索視頻的需求。
　　 經(jīng)過反復(fù)的設(shè)計和實踐，整個視頻搜索引擎系統(tǒng)逐步的穩(wěn)定和完善，中文分詞工具包的質(zhì)量也達到了比較高的水平，視頻排序算法的實現(xiàn)為整個搜索引擎質(zhì)量的提升起到了非常重要的作用。系統(tǒng)的架構(gòu)也在實踐中得到了檢驗，在每天幾千萬的訪問情況下，系統(tǒng)能夠非常穩(wěn)定的運行。目前，土豆網(wǎng)每天有1500萬次的視頻搜索，通過視頻搜索功能帶給網(wǎng)站1000多萬的播放次數(shù)。土豆網(wǎng)的視頻搜索系統(tǒng)既方便了用戶，也為網(wǎng)站帶來了可觀的點