數(shù)值信息的抽取方法研究.pdf

1、數(shù)值信息是文本中事件或?qū)嶓w的一些特定的附加信息，與實(shí)體的表現(xiàn)形式類似并以其屬性為特征出現(xiàn)的。數(shù)值信息分為兩類:一類是描述實(shí)體特征的值，比如分?jǐn)?shù)、貨幣數(shù)以及一些電話號碼和域名信息等;另一類是描述事件特征的值，比如對于犯罪這一事件，其中該犯罪事件的罪名、判刑期限，就是我們要抽取的數(shù)值信息，再比如在發(fā)生人事調(diào)動事件時(shí)，發(fā)生變動的職位信息也屬于數(shù)值信息的范疇。數(shù)值信息的抽取也是中文信息抽取中的又一重要研究方向，它對自然語言處理的許多領(lǐng)域都有極其

2、重要的研究意義，比如機(jī)器翻譯、問答系統(tǒng)、信息檢索等方向。目前國內(nèi)的研究主要集中在對事件以及命名實(shí)體的抽取上，對該方向的研究并不是很多，其抽取方法也同樣集中在兩個方面，一是基于規(guī)則的方法，根據(jù)數(shù)值信息本身的特點(diǎn)以及上下文環(huán)境，結(jié)合內(nèi)部和外部的特征制定相應(yīng)的規(guī)則進(jìn)行抽取，雖然準(zhǔn)確率很高但可移植性不強(qiáng)。另一方面是基于統(tǒng)計(jì)的方法，最常用的就是HMM、Entropy Model還有CRF等，統(tǒng)計(jì)的方法大多是基于模型的方法，可移植性強(qiáng)，相對付出的代

3、價(jià)小，因此也是自然語言處理中常用的方法。
　　本文的主要研究工作有以下幾個方面:
　　(1)用1998年1月份人民日報(bào)語料作為測試語料，搜集要抽取的第一類數(shù)值信息的特征，挑選出合適的特征并建立規(guī)則集。
　　(2)對于第二類數(shù)值信息，從語料中找出可以決定事件發(fā)生的觸發(fā)詞，并抽取該觸發(fā)詞的上下文特征，利用決策樹的方法找出確定含有目標(biāo)詞的語句。
　　(3)對抽取出的語句進(jìn)行預(yù)處理，只保留分詞后的結(jié)果，構(gòu)建文本集。利用S

4、tanford parser對文本集進(jìn)行句法分析，生成句法樹以及句法樹的文本表示。
　　(4)從句法樹中找出要抽取數(shù)值信息的特征，從而進(jìn)行相應(yīng)的抽取，并對實(shí)驗(yàn)結(jié)果進(jìn)行分析。
　　本文中對兩類數(shù)值信息分別采用不同的方法進(jìn)行處理。對于有關(guān)實(shí)體特征的數(shù)值信息，由于特征明顯我們使用規(guī)則的方法進(jìn)行抽取;對于有關(guān)事件特征的數(shù)值信息，由于規(guī)則性不強(qiáng)，我們采用決策樹和句法分析相結(jié)合的方法進(jìn)行研究，實(shí)驗(yàn)結(jié)果表明該方法是可行的，在封閉測試中準(zhǔn)確