基于數(shù)字電視節(jié)目的相關語義庫的實現(xiàn)與應用.pdf

1、在人們對語言的感官認知中，判斷詞語間的語義相關程度一直扮演著一個重要的角色，同時，這種語義相關關系在很多領域中都有實際的應用，例如信息檢索，文本分類，機器翻譯等等。 構造相關語義庫通常有基于知網和語料訓練兩種方法。知網采用人工方法，主觀性太強，且不能動態(tài)更新；通常的語料訓練對時空復雜度的要求都比較高，受語料稀疏和語料噪聲的影響也比較大，不宜直接應用于嵌入式環(huán)境。為了解決以上問題，本文提出了一種以向量空間模型為基礎的相關語義庫的構

2、造方法。本文將所要介紹的相關語義庫稱為Corpus庫。 本文首先提出了Corpus的邏輯模型，Corpus庫綜合考慮了多種與詞語間語義關系有關的因素，創(chuàng)新性地將詞語之間的共同出現(xiàn)次數(shù)、平均距離、窗口大小、信息熵、單字匹配等概念引入模型。接下來，我們給出了訓練詞語相關度的裁剪公式，在構建相關語義庫過程中，依此公式對大量語料進行了多次迭代式學習以盡量控制空間大小。其中，我們對模型中相關詞空間各個因素進行統(tǒng)計，針對每一個詞語，根據(jù)與其

3、相關的詞語的統(tǒng)計信息，為這些相關詞語分配權值，最后按照權值大小進行排序，排位靠前的相關詞語會被最終留下存入主詞語的相關空間。 本文針對Corpus自身模型和Corpus應用做了兩大實驗。實驗一證明了用這樣的構建方法得到的相關語義庫能夠較好的反映現(xiàn)實世界中詞語之間的相關程度。實驗二提出了一種基于Corpus庫的模糊信息匹配模型，它基于一個四維的向量空間，在模糊匹配的過程中該模型會用擴展后的檢索信息與待查全部文本資源進行匹配，并得出