漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)研究.pdf_第1頁(yè)
已閱讀1頁(yè),還剩89頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、ResearchontheSenseGuessingofChineseUnknown”白rdsAThesisSubmittedtoNanjingNormalUniversityFortheAcademicDegreeofMasterofEngineeringByFenfenShangSupervisedbyProfWeiguangQuSchoolofComputerScienceandTechnologyNanjingNormalUni

2、versityMay2015摘要摘要文本內(nèi)容的理解需要建立在文本詞語(yǔ)語(yǔ)義理解的基礎(chǔ)之上,由于大量未登錄詞的存在,文本中沒(méi)有標(biāo)注其句法和語(yǔ)義類(lèi)別的標(biāo)記,使得文本內(nèi)容的理解成為難題。因此,漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)的研究成為中文自然語(yǔ)言處理領(lǐng)域中亟待解決的課題之一。提高漢語(yǔ)未登錄詞的語(yǔ)義預(yù)測(cè)研究水平,對(duì)諸多自然語(yǔ)言處理任務(wù),如機(jī)器翻譯、信息檢索、語(yǔ)義分析等都有重要意義。本文在國(guó)家自然科學(xué)基金項(xiàng)目“漢語(yǔ)全文詞義標(biāo)注關(guān)鍵技術(shù)研究”的資助下,對(duì)漢語(yǔ)未登

3、錄詞的語(yǔ)義預(yù)測(cè)問(wèn)題展開(kāi)研究,主要包括以下方面:1、基于《同義詞詞林(擴(kuò)展版)》的漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)。分別構(gòu)建基于重疊字的模型,基于字一類(lèi)別關(guān)聯(lián)的模型,基于規(guī)則的模型。主要工作有:語(yǔ)料預(yù)處理;抽取測(cè)試集和開(kāi)發(fā)集;模型所需詞語(yǔ)信息統(tǒng)計(jì);對(duì)每個(gè)數(shù)據(jù)集的各個(gè)測(cè)試詞語(yǔ)分別計(jì)算每個(gè)語(yǔ)義類(lèi)別的得分,取得分最高的為詞語(yǔ)的預(yù)測(cè)語(yǔ)義。對(duì)未被基于規(guī)則模型覆蓋的未登錄詞進(jìn)行研究分析,由詞語(yǔ)的詞綴、類(lèi)詞綴知識(shí)制定規(guī)則,并添加到基于規(guī)則的模型中,改善了基于規(guī)則模

4、型的預(yù)測(cè)性能。2、基于《現(xiàn)代漢語(yǔ)語(yǔ)義詞典》的漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)。研究主要內(nèi)容包括:(1)根據(jù)詞典的樹(shù)形結(jié)構(gòu),構(gòu)造基于不同語(yǔ)義層次的語(yǔ)義詞典;(2)利用不同語(yǔ)義層次的詞典分別構(gòu)造重疊字的模型,字類(lèi)別關(guān)聯(lián)的模型,規(guī)則的模型;(3)從詞典中抽取出詞語(yǔ)作為未登錄詞,再使用各個(gè)模型進(jìn)行未登錄詞語(yǔ)義預(yù)測(cè);(4)將語(yǔ)義預(yù)測(cè)正確率較高的基于規(guī)則模型和其他模型進(jìn)行集成,通過(guò)集成模型對(duì)未登錄詞進(jìn)行語(yǔ)義預(yù)測(cè),得到了較好的預(yù)測(cè)性能。3、漢語(yǔ)未登錄詞語(yǔ)義預(yù)測(cè)應(yīng)

5、用。現(xiàn)存包含未登錄詞語(yǔ)義標(biāo)注的語(yǔ)料稀少,本文使用基于重疊字的模型,基于字類(lèi)別關(guān)聯(lián)模型以及基于規(guī)則的模型等未登錄詞語(yǔ)義預(yù)測(cè)模型對(duì)2000年《人民日?qǐng)?bào)》語(yǔ)料進(jìn)行未登錄詞語(yǔ)義預(yù)測(cè)和標(biāo)注。語(yǔ)料標(biāo)注的主要工作包括:從語(yǔ)料中抽取未登錄詞并統(tǒng)計(jì)相關(guān)信息;使用基于《同義詞詞林(擴(kuò)展版)》的模型和不同語(yǔ)義層次的《現(xiàn)代漢語(yǔ)語(yǔ)義詞典》的模型進(jìn)行語(yǔ)義預(yù)測(cè);對(duì)預(yù)測(cè)結(jié)果進(jìn)行分析,再分別使用集成模型得到預(yù)測(cè)語(yǔ)義,并標(biāo)注到語(yǔ)料中。最終得到帶有未登錄詞語(yǔ)義義項(xiàng)標(biāo)注的語(yǔ)料

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論