基于維基百科的中文命名實體語料庫構(gòu)建研究.pdf

1、作為信息抽取的一個子任務(wù)，命名實體識別是自然語言處理研究中十分基礎(chǔ)而又重要的工作，在機(jī)器翻譯、自動問答系統(tǒng)、實體關(guān)系抽取等工作中有著重要的應(yīng)用?；诮y(tǒng)計機(jī)器學(xué)習(xí)的命名實體識別方法需要大量人工標(biāo)注的語料，這些語料的標(biāo)注，需要投入大量的人力，并且語料的規(guī)模及其領(lǐng)域范圍都相對有限。針對這些問題，本文基于中文維基百科，自動構(gòu)建了中文命名實體語料庫，主要研究內(nèi)容如下：
　　(1)中文維基百科條目的實體分類。中文維基百科目前已收錄86萬多個條

2、目，這些條目中包含了大量的命名實體。本文從維基百科頁面中提取信息框和頁面分類中的有效特征，并結(jié)合中文特點，加入擴(kuò)展特征及詞義特征，采用基于SVM的方法對中文維基百科條目進(jìn)行實體分類；
　　(2)基于維基百科的命名實體語料庫構(gòu)建。本文利用維基百科中的內(nèi)鏈接信息和對應(yīng)的實體類別信息自動標(biāo)注維基百科文本中的命名實體，再通過補(bǔ)充標(biāo)注和句子選擇來自動構(gòu)造大規(guī)模的命名實體語料。最后通過抽樣統(tǒng)計和封閉測試來評估語料的標(biāo)注質(zhì)量；
　　(3)

3、維基百科命名實體語料庫的應(yīng)用。本文將自動標(biāo)注語料與手工標(biāo)注語料進(jìn)行了封閉測試的性能對比，并且通過混合測試和跨領(lǐng)域測試來驗證自動標(biāo)注語料的有效性。
　　本文的實驗表明，維基百科條目的命名實體分類可以取得很高的性能，在此基礎(chǔ)上自動構(gòu)建的命名實體標(biāo)注語料，雖然總體性能還不能和人工標(biāo)注的語料相比，但在混合測試中顯示了其對手工標(biāo)注語料的幫助，在特定的領(lǐng)域中也可以超過某些語料庫。因此基于維基百科自動產(chǎn)生的命名實體語料庫具有較好的研究和應(yīng)用潛力