基于轉(zhuǎn)換學(xué)習(xí)的專有名詞識別.pdf

1、中文信息處理的基礎(chǔ)是分詞。影響分詞準(zhǔn)確率的重要因素之一就是未登錄詞的識別，而未登錄詞識別的難點是專有名詞識別。本文針對專有名詞內(nèi)部結(jié)構(gòu)特點及其上下文詞語環(huán)境特點，提出了一個以規(guī)則方法為主的專有名詞統(tǒng)一識別方案。 該方法利用從語料庫中自動提取到的專有名詞信息和采用基于轉(zhuǎn)換的錯誤驅(qū)動學(xué)習(xí)方法獲得的規(guī)則，對切分文本進(jìn)行屬性標(biāo)注，最終實現(xiàn)專有名詞的識別。此方法中專有名詞詞語信息和規(guī)則的提取完全采用機(jī)器學(xué)習(xí)的方式，具有在不受人工干預(yù)的情況

2、下，改變訓(xùn)練樣本即可適應(yīng)新環(huán)境的特點。 本文首先圍繞專有名詞識別問題展開討論，在分析和比較了現(xiàn)有的專有名詞識別方案和常用方法后，明確了課題目標(biāo)；在此基礎(chǔ)上，提出了一個以規(guī)則為主的專有名詞統(tǒng)一識別方法；然后，在提出了課題的設(shè)計思想，對課題的設(shè)計方法進(jìn)行了一個整體的概括介紹后，進(jìn)行了詳細(xì)的系統(tǒng)設(shè)計說明，主要包括：基本概念的定義、文本預(yù)處理、專有名詞特征信息集的建立、規(guī)則的提取和屬性標(biāo)注等五個方面。最后，將系統(tǒng)的實現(xiàn)分為數(shù)據(jù)準(zhǔn)備和識別