面向全文標注的中文詞義消歧研究與實現(xiàn).pdf

1、一■●11‘●UnlneseW0rdSenSedisambiguationresearCnandimolementationforthe。、’‘’‘textdimolementationforthetulltextannotationAThesisSubmittedtoNanjingNormalUniversityFortheDegreeofMasterofEngineeringBYYuefengBianSupervisedbyProf

2、iWeiguangQuSchoolofComputerScienceandTechnologyNanjingNormalUniversityMay2015摘要摘要詞義消歧是自然語言處理領(lǐng)域中一項重要研究課題，消歧效果的好壞對機器翻譯、信息檢索、信息抽取與文本挖掘、語音識別等方面具有重大影響，因此詞義消歧具有重要的理論研究和實際應用意義。詞義消歧任務主要分為采樣任務和全詞任務，本文主要針對全詞任務進行消歧研究，即對給定文本中出現(xiàn)的所有多義

3、詞進行詞義標注。為實現(xiàn)全文標注這一目標，本文主要完成了以下工作：1選用《現(xiàn)代漢語語義詞典》(SKCC)作為詞義標注體系，但現(xiàn)有的部分己標注詞義語料采用的詞義標注體系為《現(xiàn)代漢語語法信息詞典》(GKB)，并且，SKCC中部分多義詞的詞義劃分與GKB存在不一致的情況。為了使詞義標注體系SKCC更加準確合理，本文進行了詞典映射工作，并將己標注語料中GKB的義項標記轉(zhuǎn)換為SKCC中對應標記。為方便快捷地建立詞典映射關(guān)系，開發(fā)了詞典映射工具。該工

4、具能夠?qū)刹吭~典中詞義相同的義項自動建立映射關(guān)系，為詞典映射提供了極大的便利。基于詞典映射結(jié)果，邀請語言學專業(yè)的同學對SKCC中部分多義詞進行了詞義修正，使詞典中的詞義劃分更加合理。2為實現(xiàn)對所有多義詞進行消歧，本文提出了基于相對詞頻比的主動學習方法。該方法從大規(guī)模未標注語料中計算目標多義詞上下文的相對詞頻比，用相對詞頻比表示目標多義詞與上下文詞語的搭配強度，選擇搭配強度較大的上下文詞語作為目標詞的常用搭配詞，利用搭配詞人工標注目標詞義

5、項，從而實現(xiàn)未標注語料的批量標注，并且將標注后的語料作為訓練語料。隨機抽取8個多義詞進行消歧實驗利用已標注語料進行有監(jiān)督實驗，平均準確率僅有7452％，對于相同測試語料，采用一致的特征選擇方法，基于相對詞頻比的主動學習方法取得的平均準確率為8501％，比有監(jiān)督方法提高了1049％。3依托國家自然科學基金項目“漢語詞義標注關(guān)鍵技術(shù)研究”，需要對項目中“面向全文詞義消歧”子任務在研究基礎(chǔ)上進行工程實現(xiàn)，開發(fā)了面向全文標注的詞義消歧平臺。該平