面向農業(yè)知識類音視頻合成文件的分布式索引系統(tǒng)研究.pdf

1、隨著信息通信技術、多媒體技術的蓬勃發(fā)展和網絡寬帶的迅速普及，互聯(lián)網進入讀圖時代，人們渴望用一種最簡單直接的方式來看世界，由于音視頻視聽兼容、聲像并茂，承載信息量大，具有表達直觀、立體形象、現場感強烈等特點，進而能夠加速信息流通和信息的充分表達。其中在農業(yè)領域，農業(yè)生產知識類音視頻，使用音視頻動畫，生動形象展示生產流程，提供了重要的科技信息指導農業(yè)生產，提高效益，在農業(yè)科技信息的傳播中起著重要的作用。
　　以農業(yè)知識類音視頻合成文件

2、（以下簡稱視頻）為研究對象，針對當前知識類視頻檢索粗糙、視頻資源分散、缺乏統(tǒng)一的共享機制等問題，本文基于自然語言處理得到視頻中所表達的文本內容，并利用Mapreduce分布式計算模型設計實現面向農業(yè)音視頻合成文件的索引系統(tǒng)，進而在此基礎上，為用戶提供檢索界面，實現基于語義的農業(yè)知識視頻檢索服務。隨著計算機視覺、人工智能和語音識別的發(fā)展，對視頻檢索研究逐漸向視頻的低層特征信息和高層語義信息相結合的方向發(fā)展。本文在充分分析農業(yè)知識類音視頻文

3、件具有“音頻為主，視頻為輔”以及視頻鏡頭切換少，所講授知識具有陳述性、程序性等特點的基礎上，主要進行以下幾個方面的研究:
　　(1)基于語音識別進行視頻文本內容的提取。首先利用FFmpeg技術進行視頻中音頻的提取，然后基于自然語言、語音識別對視頻內容進行語義文本標注，形成了上GB的視頻內容文本文件。為了提高語音識別的正確率，最大程度的保留完整的語義單元，在語音識別中對音頻文件做了音頻分割和靜音檢測以及擴展農業(yè)專業(yè)詞匯表工作。為了驗

4、證語音識別的正確率和探究基于自然語言處理、語義標注對視頻索引的可行性，本文對100個視頻樣本分別進行機器標注和人工標注，對標注后的文本進行詞頻統(tǒng)計，通過對比計算兩者高頻主題詞匯，得出兩者相似度達到98.4％的結論，進而可以說明語音識別達到了很好的效果且基于自然語言處理、機器標注視頻進行索引具有可行性。
　　(2)針對(1)得到的視頻內容文本文件，在分布式計算環(huán)境下，并行構建倒排索引表。利用Mapreduce并行計算模型并基于TF-

5、IDF算法，根據索引詞出現的位置不同而設置不同的權重系數來計算rank值;依據業(yè)務邏輯對Mapreduce框架進行性能調優(yōu)，為了使數據盡量分散開，避免大數據傾斜，將業(yè)務邏輯寫成多個Mapreduce串;從減少數據傳輸過程中網絡流量的角度，在數據量大的情況下，開啟了可插拔的Combiner。并在此基礎上，采用同樣的詞庫和分詞算法，對單機和集群環(huán)境下構建索引的效率進行了對比分析，得出在隨著數據量的增長，單機執(zhí)行效率急劇增長，而集群的執(zhí)行效率

6、呈一定的線性增長的結論。
　　(3)對系統(tǒng)進行了架構設計和原型系統(tǒng)開發(fā)。架構設計主要包括離線的視頻數據處理和在線的視頻檢索服務。其中離線的視頻數據處理包括數據預處理模塊和并行構建倒排索引模塊;在線的視頻檢索主要基于Web Api為用戶提供檢索界面，構建分布式檢索系統(tǒng)，為用戶提供基于語義的實時的、準確的檢索服務。
　　本文通過對自然語言處理得到的視頻內容文本文件構建分布式的索引系統(tǒng)和分布式檢系統(tǒng)，對整合分散的農業(yè)知識類視頻資源