數(shù)值信息的抽取方法研究.pdf

1、數(shù)值信息是文本中事件或?qū)嶓w的一些特定的附加信息，與實(shí)體的表現(xiàn)形式類似并以其屬性為特征出現(xiàn)的。數(shù)值信息分為兩類:一類是描述實(shí)體特征的值，比如分?jǐn)?shù)、貨幣數(shù)以及一些電話號(hào)碼和域名信息等;另一類是描述事件特征的值，比如對(duì)于犯罪這一事件，其中該犯罪事件的罪名、判刑期限，就是我們要抽取的數(shù)值信息，再比如在發(fā)生人事調(diào)動(dòng)事件時(shí)，發(fā)生變動(dòng)的職位信息也屬于數(shù)值信息的范疇。數(shù)值信息的抽取也是中文信息抽取中的又一重要研究方向，它對(duì)自然語(yǔ)言處理的許多領(lǐng)域都有極其

2、重要的研究意義，比如機(jī)器翻譯、問(wèn)答系統(tǒng)、信息檢索等方向。目前國(guó)內(nèi)的研究主要集中在對(duì)事件以及命名實(shí)體的抽取上，對(duì)該方向的研究并不是很多，其抽取方法也同樣集中在兩個(gè)方面，一是基于規(guī)則的方法，根據(jù)數(shù)值信息本身的特點(diǎn)以及上下文環(huán)境，結(jié)合內(nèi)部和外部的特征制定相應(yīng)的規(guī)則進(jìn)行抽取，雖然準(zhǔn)確率很高但可移植性不強(qiáng)。另一方面是基于統(tǒng)計(jì)的方法，最常用的就是HMM、Entropy Model還有CRF等，統(tǒng)計(jì)的方法大多是基于模型的方法，可移植性強(qiáng)，相對(duì)付出的代

3、價(jià)小，因此也是自然語(yǔ)言處理中常用的方法。
　　本文的主要研究工作有以下幾個(gè)方面:
　　(1)用1998年1月份人民日?qǐng)?bào)語(yǔ)料作為測(cè)試語(yǔ)料，搜集要抽取的第一類數(shù)值信息的特征，挑選出合適的特征并建立規(guī)則集。
　　(2)對(duì)于第二類數(shù)值信息，從語(yǔ)料中找出可以決定事件發(fā)生的觸發(fā)詞，并抽取該觸發(fā)詞的上下文特征，利用決策樹(shù)的方法找出確定含有目標(biāo)詞的語(yǔ)句。
　　(3)對(duì)抽取出的語(yǔ)句進(jìn)行預(yù)處理，只保留分詞后的結(jié)果，構(gòu)建文本集。利用S

4、tanford parser對(duì)文本集進(jìn)行句法分析，生成句法樹(shù)以及句法樹(shù)的文本表示。
　　(4)從句法樹(shù)中找出要抽取數(shù)值信息的特征，從而進(jìn)行相應(yīng)的抽取，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。
　　本文中對(duì)兩類數(shù)值信息分別采用不同的方法進(jìn)行處理。對(duì)于有關(guān)實(shí)體特征的數(shù)值信息，由于特征明顯我們使用規(guī)則的方法進(jìn)行抽取;對(duì)于有關(guān)事件特征的數(shù)值信息，由于規(guī)則性不強(qiáng)，我們采用決策樹(shù)和句法分析相結(jié)合的方法進(jìn)行研究，實(shí)驗(yàn)結(jié)果表明該方法是可行的，在封閉測(cè)試中準(zhǔn)確