基于統(tǒng)計的NLP技術(shù)在中文信息檢索中的應(yīng)用研究.pdf

1、本文就中文信息檢索的幾個主要問題，在NLP技術(shù)的基礎(chǔ)上，利用統(tǒng)計學和代數(shù)學方法，從詞語層和文檔層對信息檢索中文檔和文檔集的處理方法進行了深入研究。 首先從理論上對中文信息檢索索引單位的選擇做了詳細分析，改進了傳統(tǒng)的最大匹配分詞算法，一定程度上解決了切分歧義的問題，同時在改進算法中引入了一種基于統(tǒng)計的窗口移動擴展方法，簡單而有效地改善了未登錄詞的識別問題。 針對中文，實現(xiàn)了基于χ2統(tǒng)計的單文檔關(guān)鍵詞提取算法，其主要基礎(chǔ)是詞

2、與詞之間的共現(xiàn)次數(shù)的統(tǒng)計，并使用χ2統(tǒng)計量來衡量兩個詞語之間的關(guān)聯(lián)。同時改進了傳統(tǒng)的KEA算法，擴展了標示關(guān)鍵詞的特征，實現(xiàn)了基于樸素貝葉斯理論的中文多文檔關(guān)鍵詞提取模型。 對文本分類算法進行了研究，探討了文本特征抽取方法，其中綜合考慮了頻度、分散度和集中度三項指標，設(shè)計并實現(xiàn)了一種新的特征抽取算法，使得選出的特征項整體優(yōu)化。另外，提出了一種基于向量空間模型的詞共現(xiàn)模型，并將通過該模型統(tǒng)計出的共現(xiàn)詞信息應(yīng)用于文本分類研究中。上述

3、技術(shù)都在一定程度上提高了文本分類系統(tǒng)的性能。最后，將分類技術(shù)應(yīng)用到了信息檢索中的用戶查詢歧義消除方面，實現(xiàn)了一個分類檢索系統(tǒng)，使用戶可以快速獲取自己真正需要的信息。 針對高維詞－文檔矩陣所造成的高存儲空間和運算時間開銷，本文將線性(LSI)和非線性(Isomap、SIE)維數(shù)約減算法引入到高維文檔數(shù)據(jù)的降維處理中，并在文檔聚類方面對三種算法處理后的數(shù)據(jù)進行了性能比較。實驗結(jié)果表明，采用了局部嵌入技術(shù)的SIE算法取得了與LSI相當