基于中文自然語(yǔ)言理解的智能檢索關(guān)鍵技術(shù)研究.pdf

1、隨著信息化社會(huì)的發(fā)展，通過(guò)網(wǎng)絡(luò)進(jìn)行信息的檢索，已經(jīng)成為人們獲取信息的主要來(lái)源。網(wǎng)絡(luò)中中文信息的爆炸性增長(zhǎng)，給中文自然語(yǔ)言處理的發(fā)展應(yīng)用帶來(lái)了挑戰(zhàn)和契機(jī)。本文主要是在基于虛詞停頓的中文分詞方法的基礎(chǔ)上，參考石墨的碳結(jié)構(gòu)，研究詞與詞之間的關(guān)系，計(jì)算語(yǔ)義的相似度，構(gòu)建詞與詞之間的語(yǔ)義網(wǎng)絡(luò)模型，進(jìn)行同義詞的檢索，為后期實(shí)現(xiàn)從關(guān)鍵詞檢索到概念檢索的目標(biāo)打下基礎(chǔ)。
　　 要進(jìn)行信息的檢索，就必須做好自然語(yǔ)言基礎(chǔ)研究工作，它必須以中文分詞為研

2、究基礎(chǔ)。主要的分詞方法可以歸納為三類(lèi)：基于規(guī)則、基于統(tǒng)計(jì)和基于規(guī)則統(tǒng)計(jì)結(jié)合的方法。到目前為止，并沒(méi)有一個(gè)成熟的方法來(lái)解決中文分詞問(wèn)題，仍然存在分詞規(guī)范、分詞切分歧義和未登錄詞問(wèn)題。
　　 根據(jù)漢語(yǔ)詞匯的特點(diǎn)，研究虛詞特性，結(jié)合虛詞的停頓規(guī)律，采用基于虛詞停頓的方法對(duì)中文詞匯的切分進(jìn)行消歧。在整個(gè)分詞過(guò)程中，將概率統(tǒng)計(jì)和規(guī)則兩種方法相結(jié)合，借助雙向最大匹配分詞算法，解決虛詞停頓中所遇到的詞性轉(zhuǎn)換和詞性覆蓋率問(wèn)題，最后采用將高元模型

3、和低元模型進(jìn)行結(jié)合的Katz方法對(duì)分詞中數(shù)據(jù)稀疏和零概率問(wèn)題進(jìn)行平滑處理。
　　 在基于虛詞停頓的分詞方法基礎(chǔ)之上，通過(guò)研究語(yǔ)義知識(shí)詞典，揭示中文語(yǔ)義包含的各種關(guān)系，如同義關(guān)系、反義關(guān)系、近義關(guān)系和層次關(guān)系等等，利用語(yǔ)義距離、語(yǔ)義位移、語(yǔ)義相似度和對(duì)立度定量對(duì)其進(jìn)行研究處理。同時(shí)參考石墨的層次碳結(jié)構(gòu)，將石墨中碳原子之間的距離關(guān)系應(yīng)用到語(yǔ)義網(wǎng)絡(luò)中，計(jì)算語(yǔ)義網(wǎng)絡(luò)中結(jié)點(diǎn)之間的相似度和位移，構(gòu)建漢語(yǔ)語(yǔ)義網(wǎng)絡(luò)模型。雖然采用此方法只能解決部