漢語未登錄詞語義預(yù)測研究.pdf

1、ResearchontheSenseGuessingofChineseUnknown”白rdsAThesisSubmittedtoNanjingNormalUniversityFortheAcademicDegreeofMasterofEngineeringByFenfenShangSupervisedbyProfWeiguangQuSchoolofComputerScienceandTechnologyNanjingNormalUni

2、versityMay2015摘要摘要文本內(nèi)容的理解需要建立在文本詞語語義理解的基礎(chǔ)之上，由于大量未登錄詞的存在，文本中沒有標(biāo)注其句法和語義類別的標(biāo)記，使得文本內(nèi)容的理解成為難題。因此，漢語未登錄詞語義預(yù)測的研究成為中文自然語言處理領(lǐng)域中亟待解決的課題之一。提高漢語未登錄詞的語義預(yù)測研究水平，對諸多自然語言處理任務(wù)，如機(jī)器翻譯、信息檢索、語義分析等都有重要意義。本文在國家自然科學(xué)基金項(xiàng)目“漢語全文詞義標(biāo)注關(guān)鍵技術(shù)研究”的資助下，對漢語未登

3、錄詞的語義預(yù)測問題展開研究，主要包括以下方面：1、基于《同義詞詞林(擴(kuò)展版)》的漢語未登錄詞語義預(yù)測。分別構(gòu)建基于重疊字的模型，基于字一類別關(guān)聯(lián)的模型，基于規(guī)則的模型。主要工作有：語料預(yù)處理；抽取測試集和開發(fā)集；模型所需詞語信息統(tǒng)計(jì)；對每個(gè)數(shù)據(jù)集的各個(gè)測試詞語分別計(jì)算每個(gè)語義類別的得分，取得分最高的為詞語的預(yù)測語義。對未被基于規(guī)則模型覆蓋的未登錄詞進(jìn)行研究分析，由詞語的詞綴、類詞綴知識(shí)制定規(guī)則，并添加到基于規(guī)則的模型中，改善了基于規(guī)則模

4、型的預(yù)測性能。2、基于《現(xiàn)代漢語語義詞典》的漢語未登錄詞語義預(yù)測。研究主要內(nèi)容包括：(1)根據(jù)詞典的樹形結(jié)構(gòu)，構(gòu)造基于不同語義層次的語義詞典；(2)利用不同語義層次的詞典分別構(gòu)造重疊字的模型，字類別關(guān)聯(lián)的模型，規(guī)則的模型；(3)從詞典中抽取出詞語作為未登錄詞，再使用各個(gè)模型進(jìn)行未登錄詞語義預(yù)測；(4)將語義預(yù)測正確率較高的基于規(guī)則模型和其他模型進(jìn)行集成，通過集成模型對未登錄詞進(jìn)行語義預(yù)測，得到了較好的預(yù)測性能。3、漢語未登錄詞語義預(yù)測應(yīng)

5、用?，F(xiàn)存包含未登錄詞語義標(biāo)注的語料稀少，本文使用基于重疊字的模型，基于字類別關(guān)聯(lián)模型以及基于規(guī)則的模型等未登錄詞語義預(yù)測模型對2000年《人民日報(bào)》語料進(jìn)行未登錄詞語義預(yù)測和標(biāo)注。語料標(biāo)注的主要工作包括：從語料中抽取未登錄詞并統(tǒng)計(jì)相關(guān)信息；使用基于《同義詞詞林(擴(kuò)展版)》的模型和不同語義層次的《現(xiàn)代漢語語義詞典》的模型進(jìn)行語義預(yù)測；對預(yù)測結(jié)果進(jìn)行分析，再分別使用集成模型得到預(yù)測語義，并標(biāo)注到語料中。最終得到帶有未登錄詞語義義項(xiàng)標(biāo)注的語料