詞語(yǔ)相似度計(jì)算方法研究.pdf

1、自然語(yǔ)言處理最根本的目的就是讓計(jì)算機(jī)能正確處理人類(lèi)語(yǔ)言,利用計(jì)算機(jī)對(duì)詞語(yǔ)語(yǔ)義進(jìn)行理解是自然語(yǔ)言處理中最為關(guān)鍵的問(wèn)題。詞義相似度計(jì)算作為語(yǔ)義理解的基礎(chǔ)性工作已被廣泛應(yīng)用于詞義消歧、機(jī)器翻譯、信息檢索、自動(dòng)應(yīng)答等各種領(lǐng)域。
　　 目前詞義相似度的計(jì)算方法主要分為兩個(gè)大類(lèi):一類(lèi)是通過(guò)具有一定層次體系的詞典計(jì)算詞義相似度;另一類(lèi)是利用詞語(yǔ)的上下文獲取詞義信息,從而計(jì)算詞義相似度。第一類(lèi)方法是將詞語(yǔ)構(gòu)建于一個(gè)具有層次關(guān)系的樹(shù)形結(jié)構(gòu)體系詞典

2、中,通過(guò)計(jì)算整個(gè)體系中兩個(gè)目標(biāo)詞之間的路徑、上下位關(guān)系、屬性之間的關(guān)系來(lái)表征目標(biāo)詞之間的詞義相似度。這種方法過(guò)分依賴(lài)詞典的設(shè)計(jì),需要完備的層次關(guān)系,因此受人的主觀影響較大。第二種是利用語(yǔ)料中目標(biāo)詞上下文詞語(yǔ)作為目標(biāo)詞詞義的表示,通過(guò)計(jì)算兩個(gè)目標(biāo)詞上下文之間的關(guān)系來(lái)確定兩者之間的相似度。這類(lèi)方法受上下文影響較大,同時(shí)會(huì)有數(shù)據(jù)稀疏問(wèn)題。
　　 本文針對(duì)這兩種方法的優(yōu)缺點(diǎn),通過(guò)詞典對(duì)上下文詞語(yǔ)的概念提升,提高了目標(biāo)詞詞義的表示程度,從

3、一定程度上緩解了向量空間模型中的數(shù)據(jù)稀疏問(wèn)題,并起到良好的降維效果。同時(shí),通過(guò)利用上下文詞語(yǔ)獲取詞義表示信息,從詞語(yǔ)的實(shí)際使用環(huán)境出發(fā),真實(shí)反映詞語(yǔ)使用時(shí)的動(dòng)態(tài)詞義。在此基礎(chǔ)上,本文還將相對(duì)詞頻比運(yùn)用于向量空間模型的特征選擇中,進(jìn)一步提高了詞語(yǔ)相似度的準(zhǔn)確性和合理性。
　　 詞義區(qū)分是自然語(yǔ)言處理的另一個(gè)重要內(nèi)容,本文在構(gòu)建詞義相似度計(jì)算模型的基礎(chǔ)上,將該模型運(yùn)用到詞義區(qū)分的計(jì)算中去。通過(guò)詞語(yǔ)相似度算法改進(jìn)K-means聚類(lèi)方法