基于本體的視頻服務(wù)網(wǎng)站監(jiān)管技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)帶寬的提高、網(wǎng)絡(luò)用戶的增加，以及數(shù)碼產(chǎn)品的普及，網(wǎng)上視頻內(nèi)容日益豐富，收看網(wǎng)絡(luò)視頻的用戶急劇增多，視頻服務(wù)網(wǎng)站也不斷涌現(xiàn)。然而由于開(kāi)放性、匿名性以及資源缺乏統(tǒng)一管理的特點(diǎn)，互聯(lián)網(wǎng)在帶給人們便利的同時(shí)，許多不良視頻服務(wù)網(wǎng)站也混入其中。這些不良視頻服務(wù)網(wǎng)站對(duì)青少年的健康成長(zhǎng)和社會(huì)的穩(wěn)定有著非常不利的影響。盡管國(guó)家已加大了打擊力度，然而事實(shí)上不良視頻服務(wù)網(wǎng)站仍然存在，且通過(guò)搜索引擎的幫助獲取的難度很低。因此如何自動(dòng)發(fā)現(xiàn)和準(zhǔn)確識(shí)別不良視

2、頻服務(wù)網(wǎng)站從而對(duì)其進(jìn)行有效監(jiān)管成為了值得研究的問(wèn)題。
　　 目前視頻服務(wù)網(wǎng)站監(jiān)管主要存在的難點(diǎn)和問(wèn)題包括:(1)視頻服務(wù)網(wǎng)站的自動(dòng)發(fā)現(xiàn)，目前僅中國(guó)的網(wǎng)站數(shù)量就已經(jīng)達(dá)到230萬(wàn)之多，如何從互聯(lián)網(wǎng)的海洋中自動(dòng)發(fā)現(xiàn)視頻服務(wù)網(wǎng)站成為了視頻服務(wù)網(wǎng)站監(jiān)管的重要問(wèn)題;(2)支持網(wǎng)站健康性評(píng)估的領(lǐng)域本體自動(dòng)構(gòu)建技術(shù)，不良視頻領(lǐng)域本體可以提供計(jì)算機(jī)可理解的不良視頻的語(yǔ)義描述，從而為后續(xù)的不良視頻網(wǎng)頁(yè)識(shí)別以及網(wǎng)站的健康性評(píng)估提供語(yǔ)義基礎(chǔ)，傳統(tǒng)的領(lǐng)域

3、本體自動(dòng)構(gòu)建方法多依賴于自然語(yǔ)言處理技術(shù)，受限于自然語(yǔ)言處理工具的性能，構(gòu)建出的領(lǐng)域本體的質(zhì)量往往不高;(3)基于領(lǐng)域本體的網(wǎng)站健康性分析評(píng)估技術(shù)，在擁有了不良視頻領(lǐng)域本體之后，如何設(shè)計(jì)出一種可以利用本體中的文字和結(jié)構(gòu)信息的網(wǎng)頁(yè)相關(guān)度計(jì)算方法從而準(zhǔn)確地計(jì)算出網(wǎng)站的健康性，就成為了值得研究的問(wèn)題。針對(duì)這三個(gè)問(wèn)題，本論文的主要研究工作和創(chuàng)新點(diǎn)如下:
　　 1.提出了視頻服務(wù)網(wǎng)站的自動(dòng)發(fā)現(xiàn)方法。
　　 針對(duì)視頻服務(wù)網(wǎng)站自動(dòng)發(fā)現(xiàn)

4、的問(wèn)題，本文首先提出了一種基于元搜索的視頻服務(wù)網(wǎng)站的自動(dòng)發(fā)現(xiàn)方法，該方法設(shè)計(jì)了一種關(guān)鍵詞更新和評(píng)價(jià)機(jī)制用以向元搜索系統(tǒng)提供高質(zhì)量的搜索關(guān)鍵詞，元搜索的結(jié)果將作為初始網(wǎng)站列表提供給主題爬行模塊以進(jìn)一步發(fā)現(xiàn)更多的視頻服務(wù)網(wǎng)站。通過(guò)分析網(wǎng)頁(yè)的標(biāo)簽特征和候選播放器的視覺(jué)特征，本文提出了一種基于多特征多策略的視頻播放頁(yè)識(shí)別方法。在確定一個(gè)視頻播放頁(yè)后，將該頁(yè)面存為播放頁(yè)模板，后續(xù)視頻播放頁(yè)的識(shí)別利用其與播放頁(yè)模板的相似性來(lái)判定。在對(duì)搜索過(guò)程所遇到

5、的網(wǎng)頁(yè)及鏈接主題相關(guān)度的分析基礎(chǔ)上，本文提出了一種URL的預(yù)期剩余能量模型用以計(jì)算每個(gè)方向的搜索能量，進(jìn)而決定主題爬蟲(chóng)的搜索方向和步長(zhǎng)。實(shí)驗(yàn)中，基于多特征多策略的視頻播放頁(yè)識(shí)別準(zhǔn)確率和召回率分別達(dá)到了99.21％和99.24％，而基于預(yù)期剩余能量模型的主題爬行算法則明顯優(yōu)于對(duì)比算法的性能。
　　 2.提出了基于超鏈接結(jié)構(gòu)圖聚類的領(lǐng)域本體自動(dòng)構(gòu)建方法。
　　 針對(duì)領(lǐng)域本體自動(dòng)構(gòu)建的問(wèn)題，著重研究了領(lǐng)域概念的自動(dòng)識(shí)別和領(lǐng)域概

6、念間同義/近義關(guān)系的自動(dòng)構(gòu)建方法。首先，本文提出了基于超鏈接結(jié)構(gòu)圖聚類的領(lǐng)域概念識(shí)別方法，該方法首先利用網(wǎng)絡(luò)爬蟲(chóng)從指定的入口地址處深度受限廣度優(yōu)先遍歷Wiki頁(yè)面，構(gòu)建關(guān)于某特定領(lǐng)域的無(wú)向超鏈接結(jié)構(gòu)圖。然后利用得到的網(wǎng)頁(yè)數(shù)據(jù)庫(kù)和詞匯表構(gòu)建詞匯-文檔矩陣，使用潛在語(yǔ)義索引算法和余弦相似度計(jì)算節(jié)點(diǎn)間的相似度，將該相似度作為相應(yīng)邊的權(quán)重，再利用有權(quán)圖滲濾算法對(duì)有權(quán)無(wú)向鏈接結(jié)構(gòu)圖進(jìn)行聚類，并對(duì)聚類結(jié)果進(jìn)行評(píng)估，進(jìn)而得到相應(yīng)的領(lǐng)域概念。針對(duì)概念間

7、同義/近義關(guān)系的自動(dòng)構(gòu)建，本文首先構(gòu)建鏈接-詞語(yǔ)的共現(xiàn)矩陣，使用余弦相似度度量，再使用自底向上的凝聚型層次聚類算法對(duì)詞語(yǔ)進(jìn)行聚類，從而得到詞語(yǔ)間的同義/近義關(guān)系。實(shí)驗(yàn)結(jié)果顯示，領(lǐng)域概念識(shí)別的準(zhǔn)確率在top-10階段接近96％，而同義/近義聯(lián)系的識(shí)別準(zhǔn)確率則接近90％。
　　 3.提出了基于領(lǐng)域本體的網(wǎng)站健康性評(píng)估方法。
　　 針對(duì)網(wǎng)站健康性的計(jì)算問(wèn)題，本文提出了一種基于領(lǐng)域本體的網(wǎng)站健康性計(jì)算方法。傳統(tǒng)的網(wǎng)頁(yè)分類和相關(guān)性

8、計(jì)算方法使用的文檔表示模型通常假設(shè)特征項(xiàng)之間是相互獨(dú)立的，并且特征詞的權(quán)值大都基于詞頻信息，忽略了詞的位置及上下文信息，而已有的本體分類系統(tǒng)只是將本體用于輔助分類的過(guò)程，無(wú)法有效利用到本體自身的結(jié)構(gòu)和文字信息。針對(duì)這些問(wèn)題，本文提出了一種基于網(wǎng)頁(yè)概念樹(shù)和領(lǐng)域本體樹(shù)匹配的網(wǎng)頁(yè)健康性計(jì)算方法。該方法首先提出了一種可以不依賴于獨(dú)立性假設(shè)的新的網(wǎng)頁(yè)文檔表示模型，并在該模型的基礎(chǔ)上使用了一種可以利用到詞語(yǔ)的位置及上下文信息的詞語(yǔ)加權(quán)算法，最后在新

9、的網(wǎng)頁(yè)表示模型的基礎(chǔ)上，提出了一種可以有效利用領(lǐng)域本體的結(jié)構(gòu)及文字信息的網(wǎng)頁(yè)健康性計(jì)算方法。實(shí)驗(yàn)結(jié)果顯示，該方法的不良網(wǎng)頁(yè)識(shí)別準(zhǔn)確率、召回率和F1值分別為96％、95.7％和95.8％，視頻服務(wù)網(wǎng)站健康性評(píng)估的準(zhǔn)確率則達(dá)到了95％。
　　 上述方法已部分應(yīng)用于國(guó)家863項(xiàng)目“結(jié)合語(yǔ)義的視頻網(wǎng)站自動(dòng)發(fā)現(xiàn)與分析評(píng)估服務(wù)”課題中的主題聚集搜索和網(wǎng)站內(nèi)容分析評(píng)估部分，并將應(yīng)用于國(guó)家科技支撐計(jì)劃“增強(qiáng)型搜索系統(tǒng)架構(gòu)、關(guān)鍵技術(shù)及測(cè)試規(guī)范的研