2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩79頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、土豆網(wǎng)是國內(nèi)最早開展視頻分享業(yè)務(wù)的網(wǎng)站。土豆網(wǎng)經(jīng)過了幾年的發(fā)展,目前已經(jīng)發(fā)展成為每天有1億多次Page View(簡稱PV)和幾萬個視頻上傳的視頻網(wǎng)站。在土豆網(wǎng)上,每天都有大量的用戶上傳視頻節(jié)目,到目前為止土豆網(wǎng)上已經(jīng)擁有了2000多萬的視頻節(jié)目。這些節(jié)目每天大約被觀看8000多萬次,用戶在觀看視頻前,最重要的是要能夠找到自己想要看的視頻,這就不得不依靠網(wǎng)站的視頻搜索功能。
   本論文首先概括和介紹了一些搜索引擎相關(guān)的技術(shù),說

2、明了垂直搜索引擎的概念。重點介紹了Lucene這個開源的搜索引擎的開發(fā)框架。簡單說明了采用Lucene進(jìn)行索引和搜索的基本過程和相關(guān)的API。中文分詞是搜索引擎中比較重要的部分,本文分析了正向和逆向的最大匹配分詞以及基于統(tǒng)計的分詞方法。
   本文的重點是對視頻搜索引擎的架構(gòu)進(jìn)行了詳細(xì)的設(shè)計和實現(xiàn)。將整個系統(tǒng)按照模塊劃分為視頻搜索portal、視頻搜索查詢、視頻數(shù)據(jù)索引三部分。然后對系統(tǒng)進(jìn)行了分層的架構(gòu)設(shè)計,整個系統(tǒng)總共分為5層

3、,包括:數(shù)據(jù)庫層、索引層、查詢層、portal層以及頁面緩存層。其中頁面緩存層采用開源的Squid服務(wù)器進(jìn)行實現(xiàn)請求處理和緩存的功能,同時采用Squid的sibling的運行模式實現(xiàn)負(fù)載均衡。對于核心的索引層、查詢層和portal層進(jìn)行了詳細(xì)的處理流程的分析和設(shè)計。對不同層次之間的通信方式和數(shù)據(jù)交換格式都進(jìn)行了專門的設(shè)計。在視頻搜索引擎的實現(xiàn)方面,本文采用Java進(jìn)行了主要的功能模塊的開發(fā)。采用Tomcat作為web容器,memcach

4、ed作為內(nèi)存緩存服務(wù)器,還有MySQL數(shù)據(jù)庫服務(wù)器。在索引和查詢的這兩個過程中都非常依賴中文分詞技術(shù),本文采用了正向最大匹配的分詞算法。對于日期、中文數(shù)字、繁體字、特殊字符都進(jìn)行轉(zhuǎn)換,使用自定義的精簡的詞庫進(jìn)行了中文分詞算法的實現(xiàn)。對于視頻搜索結(jié)果的排序,本文設(shè)計和實現(xiàn)了一套使用視頻相關(guān)的播放次數(shù)、上傳時間、被評論的次數(shù)等多重指標(biāo)進(jìn)行綜合權(quán)重計算的排序算法。最終成功地設(shè)計和實現(xiàn)了一套完整的視頻搜索引擎系統(tǒng),為土豆網(wǎng)提供了強大的視頻搜索功

5、能,滿足了用戶搜索視頻的需求。
   經(jīng)過反復(fù)的設(shè)計和實踐,整個視頻搜索引擎系統(tǒng)逐步的穩(wěn)定和完善,中文分詞工具包的質(zhì)量也達(dá)到了比較高的水平,視頻排序算法的實現(xiàn)為整個搜索引擎質(zhì)量的提升起到了非常重要的作用。系統(tǒng)的架構(gòu)也在實踐中得到了檢驗,在每天幾千萬的訪問情況下,系統(tǒng)能夠非常穩(wěn)定的運行。目前,土豆網(wǎng)每天有1500萬次的視頻搜索,通過視頻搜索功能帶給網(wǎng)站1000多萬的播放次數(shù)。土豆網(wǎng)的視頻搜索系統(tǒng)既方便了用戶,也為網(wǎng)站帶來了可觀的點

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論