基于中文自然語言理解的智能檢索關(guān)鍵技術(shù)研究.pdf

1、隨著信息化社會的發(fā)展，通過網(wǎng)絡(luò)進(jìn)行信息的檢索，已經(jīng)成為人們獲取信息的主要來源。網(wǎng)絡(luò)中中文信息的爆炸性增長，給中文自然語言處理的發(fā)展應(yīng)用帶來了挑戰(zhàn)和契機(jī)。本文主要是在基于虛詞停頓的中文分詞方法的基礎(chǔ)上，參考石墨的碳結(jié)構(gòu)，研究詞與詞之間的關(guān)系，計算語義的相似度，構(gòu)建詞與詞之間的語義網(wǎng)絡(luò)模型，進(jìn)行同義詞的檢索，為后期實現(xiàn)從關(guān)鍵詞檢索到概念檢索的目標(biāo)打下基礎(chǔ)。
　　 要進(jìn)行信息的檢索，就必須做好自然語言基礎(chǔ)研究工作，它必須以中文分詞為研

2、究基礎(chǔ)。主要的分詞方法可以歸納為三類：基于規(guī)則、基于統(tǒng)計和基于規(guī)則統(tǒng)計結(jié)合的方法。到目前為止，并沒有一個成熟的方法來解決中文分詞問題，仍然存在分詞規(guī)范、分詞切分歧義和未登錄詞問題。
　　 根據(jù)漢語詞匯的特點，研究虛詞特性，結(jié)合虛詞的停頓規(guī)律，采用基于虛詞停頓的方法對中文詞匯的切分進(jìn)行消歧。在整個分詞過程中，將概率統(tǒng)計和規(guī)則兩種方法相結(jié)合，借助雙向最大匹配分詞算法，解決虛詞停頓中所遇到的詞性轉(zhuǎn)換和詞性覆蓋率問題，最后采用將高元模型

3、和低元模型進(jìn)行結(jié)合的Katz方法對分詞中數(shù)據(jù)稀疏和零概率問題進(jìn)行平滑處理。
　　 在基于虛詞停頓的分詞方法基礎(chǔ)之上，通過研究語義知識詞典，揭示中文語義包含的各種關(guān)系，如同義關(guān)系、反義關(guān)系、近義關(guān)系和層次關(guān)系等等，利用語義距離、語義位移、語義相似度和對立度定量對其進(jìn)行研究處理。同時參考石墨的層次碳結(jié)構(gòu)，將石墨中碳原子之間的距離關(guān)系應(yīng)用到語義網(wǎng)絡(luò)中，計算語義網(wǎng)絡(luò)中結(jié)點之間的相似度和位移，構(gòu)建漢語語義網(wǎng)絡(luò)模型。雖然采用此方法只能解決部