基于文本分析的互聯(lián)網(wǎng)視頻搜索引擎技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)上的信息不僅在數(shù)量上以幾何級(jí)的速度增長(zhǎng)，在形式上也變得多種多樣。多媒體信息正在逐步的取代傳統(tǒng)的文本信息，成為人們上網(wǎng)了解信息的第一選擇。傳統(tǒng)的搜索引擎專注于文字的搜索，對(duì)視頻、圖片等多媒體信息搜索的支持遠(yuǎn)遠(yuǎn)滿足不了人們的需求。針對(duì)這種情況，本文設(shè)計(jì)了一種專門針對(duì)于互聯(lián)網(wǎng)視頻的搜索引擎，該搜索引擎通過(guò)分析挖掘視頻的標(biāo)題，評(píng)論等相關(guān)文本信息能較精確的搜索到視頻信息，并通過(guò)分析用戶日志提供個(gè)性化搜索。
　　

2、本文首先介紹了網(wǎng)絡(luò)爬蟲(chóng)的實(shí)現(xiàn)原理及運(yùn)行過(guò)程。該網(wǎng)絡(luò)爬蟲(chóng)針對(duì)視頻網(wǎng)站爬取視頻相關(guān)文本信息，并將相關(guān)信息保存到本地。由于具有采集速度快，范圍廣的特點(diǎn)，使其能較好的滿足用戶對(duì)搜索引擎查找速度快，搜索范圍廣的要求。接下來(lái)，本文介紹通過(guò)對(duì)已有視頻文本信息的分析挖掘而非對(duì)視頻本身的分析來(lái)間接獲取視頻內(nèi)容信息。介紹了中文分詞的主流算法，并比較了這些方法的優(yōu)缺點(diǎn)，并詳細(xì)實(shí)現(xiàn)了正向最大匹配算法，為之后句子間相似度匹配算法提供了較好的分詞效果。接著介紹對(duì)爬

3、蟲(chóng)爬取到的視頻評(píng)論進(jìn)行過(guò)濾的方法，將情感評(píng)論，垃圾評(píng)論等對(duì)分析視頻內(nèi)容無(wú)關(guān)的評(píng)論過(guò)濾掉。采用計(jì)算相對(duì)詞頻來(lái)分析文本信息進(jìn)而判斷視頻的內(nèi)容。
　　然后，詳細(xì)介紹了根據(jù)用戶日志判斷用戶查詢意圖的方法。首先介紹了用戶日志挖掘的過(guò)程，詳細(xì)描述了怎樣對(duì)用戶日志進(jìn)行處理，并以Sogou用戶日志為例進(jìn)行處理，獲得了滿足后續(xù)分析的數(shù)據(jù)。提出一種基于句子相似度計(jì)算判斷用戶查詢意圖的方法，該方法根據(jù)用戶日志判斷查詢?cè)~與哪類視頻的相關(guān)度最大來(lái)確定用戶的