NLP技術(shù)在中文信息檢索中的應(yīng)用研究.pdf

1、隨著科學(xué)技術(shù)的高速發(fā)展和各種信息資源數(shù)量的不斷增多,為了提高效率,信息檢索己經(jīng)成為信息科學(xué)技術(shù)領(lǐng)域最重要的研究內(nèi)容之一.其中涉及到自然語言處理(NLP)的技術(shù)有:分詞、信息抽取、自動聚類和分類、自動摘要、查詢擴展、等等.近年來,對網(wǎng)絡(luò)中文信息檢索的需求與日俱增.針對這一需求,本文對中文信息檢索中涉及到的幾項NLP關(guān)鍵技術(shù)進行了研究. 本文在深入研究基于向量空間模型的文本聚類方法的基礎(chǔ)上,提出了一個新的聚類模型:即在傳統(tǒng)的基于相似

2、度的平面劃分聚類模型中增加一個文本特征向量調(diào)整模塊.本文同時給出了用以進行特征提取的特征評價函數(shù),對基于相似度的平面劃分聚類算法做了改進.實驗結(jié)果表明增加了文檔特征調(diào)整的聚類模型具有較好的聚類效果. 本文提出了一種基于主題聚類的自動摘要算法.在一篇文章中,主題思想由文中的各個子主題構(gòu)成,如同議論文中的論點由分論點構(gòu)成一樣,基于主題聚類的自動摘要算法把統(tǒng)計方法與知識理解相結(jié)合,既擺脫了領(lǐng)域限制,又使摘要的結(jié)果更為準確.本文構(gòu)造出一

3、個新的依賴關(guān)系模型,能較好地為摘要算法選擇較為準確的屬性,給出評價語句重要性的規(guī)則,這為摘要算法提供了選擇較為重要語句的尺度.本文還提出了一種較為客觀的、基于任務(wù)的摘要性能評估算法. 目前大多數(shù)檢索系統(tǒng)中,用戶的需求是通過查詢關(guān)鍵詞來表示的.用戶實際需求與查詢關(guān)鍵詞之間往往存在較大的語義差距,如何縮小這種語義差距是實現(xiàn)面向用戶個性化信息服務(wù)的關(guān)鍵問題.本文提出了一種查詢擴展優(yōu)化算法,給出了對查詢關(guān)鍵詞的增加、刪除和權(quán)重修改的自適