基于VQ和ASR的多媒體課件檢索.pdf

1、在E-learning教學環(huán)境中，多媒體課件是使用最為廣泛的教學內容載體。而針對多媒體課件的檢索服務可以使學生方便地選擇他們所感興趣的部分從而提高了教學效率。基于語音的內容檢索是常用的多媒體文件檢索，依靠相對較為成熟的語音識別技術這一檢索技術在基于內容的多媒體文件檢索領域具有很高的應用與研究價值。本文將針對E-learning應用環(huán)境，研究基于語音識別的多媒體資料檢索方法。由于多媒體課件來自于各個專業(yè)，涵蓋的內容較廣且包含一些專業(yè)術語，

2、在對其進行檢索的過程中很難建立一個較完善的語言模型。因此本文提出的方法直接在聲學模型級別完成搜索和匹配以避免詞匯量不夠(OOV)的情況。此外，由于課件均在實際教室中錄制，其語音質量往往不高，本文提出的方法還將具備一定的容錯能力。本論文的主要工作包括：1、研究并設計向量量化技術(VQ)對隱馬爾可夫模型(HMM)的狀態(tài)進行聚類并生成相應的碼表，以用于對語音文件進行預處理的階段。這一步驟主要將耗時較多的語音信號特征的提取與比較在離線狀態(tài)下完成

3、，并將語音信號匹配轉換成狀態(tài)序列的符號匹配，以便在實時處理檢索請求時系統(tǒng)具有較快的反應速度。2、多級檢索算法將利用路徑搜索算法進行關鍵詞檢出(keyword spotting)作為初級檢索，給出一組粗略的候選結果。利用自動語音識別技術(ASR)作為次級檢索對候選結果進行篩選，驗證等處理，最終找出與關鍵詞相匹配的項并根據似然度評分原則排序輸出。為學生提供多媒體課件檢索服務。3、利用上述方法實現(xiàn)原型系統(tǒng)，并在實際課件點播環(huán)境中測試其性能。同