無監(jiān)督的中文語(yǔ)義詞提取技術(shù)研究.pdf

1、基于詞典的中文分詞程序不能正確劃分文本中包含的新詞（詞典中沒有涵括的詞）。如果需要處理的中文文本中包含很多新詞，基于詞典的分詞效果并不理想。從文本中自動(dòng)提取語(yǔ)義詞，從中識(shí)別新詞，用于擴(kuò)充詞典，是解決新詞問題提高分詞正確性的有效方法。
　　基于統(tǒng)計(jì)的語(yǔ)義詞提取方法可以分為有監(jiān)督和無監(jiān)督兩大類，有監(jiān)督的方法依賴一個(gè)已經(jīng)正確分詞好的訓(xùn)練語(yǔ)料庫(kù)，但是準(zhǔn)備訓(xùn)練語(yǔ)料庫(kù)需要耗費(fèi)大量時(shí)間。相反，無監(jiān)督的方法不需要訓(xùn)練語(yǔ)料庫(kù)，而是使用一個(gè)語(yǔ)義度量準(zhǔn)

2、則(goodness measure)衡量一個(gè)候選詞是一個(gè)語(yǔ)義詞的可能性大小。
　　本文研究無監(jiān)督的中文語(yǔ)義詞提取技術(shù)，提出了兩種新的語(yǔ)義度量準(zhǔn)則，重疊變化準(zhǔn)則(overlap variety)和重疊評(píng)估準(zhǔn)則(overlap estimation)。該準(zhǔn)則可以解釋為“如果候選詞是語(yǔ)義詞的可能性比它的重疊字符串高，那么候選詞很可能是一個(gè)有語(yǔ)義的詞”。另一種語(yǔ)義度量準(zhǔn)則，重疊評(píng)估，用于衡量一個(gè)候選詞包含粘合字的可能性大小。粘合字是經(jīng)常

3、挨在一個(gè)語(yǔ)義詞的詞首或詞尾的單字詞，但是粘合字與語(yǔ)義詞組成的復(fù)合詞是無語(yǔ)義的。另外，本文介紹了如何構(gòu)建文本集的PAT-tree數(shù)據(jù)結(jié)構(gòu)輔助語(yǔ)義詞提取，減少語(yǔ)義詞提取算法的時(shí)間復(fù)雜度。
　　當(dāng)文檔集很大的時(shí)候，對(duì)文本集構(gòu)建PAT-tree需要耗費(fèi)很長(zhǎng)的時(shí)間。本章提出一種基于多PAT-tree的語(yǔ)義詞提取方法，該方法采用分而治之的思想，將文本集分割成n份，獨(dú)立地建立n棵PAT-tree，并行地提取語(yǔ)義詞，極大地減少了構(gòu)建PAT-tre