非結(jié)構(gòu)化文本中領(lǐng)域術(shù)語(yǔ)獲取方法的研究.pdf

1、隨著領(lǐng)域新技術(shù)的飛速發(fā)展，大量數(shù)字化科技文獻(xiàn)都以非結(jié)構(gòu)化文本的形式與日俱增，如何有效地獲取其中的領(lǐng)域術(shù)語(yǔ)，對(duì)于構(gòu)建數(shù)字圖書館、領(lǐng)域本體、編撰領(lǐng)域詞典等都具有重要的現(xiàn)實(shí)意義，因此成為人們關(guān)注的焦點(diǎn)。相比已有領(lǐng)域術(shù)語(yǔ)獲取方法——詞典方法、規(guī)則方法、簡(jiǎn)單統(tǒng)計(jì)量方法的種種不足，比如需要領(lǐng)域?qū)＜覅⑴c且費(fèi)時(shí)費(fèi)力，或者不能融合領(lǐng)域術(shù)語(yǔ)的各類特征等，本文借鑒了統(tǒng)計(jì)學(xué)習(xí)理論和信息抽取的相關(guān)研究采用了如下的方法：基于分類的方法、基于序列數(shù)據(jù)標(biāo)注的方法、基于

2、Reranking的方法進(jìn)行領(lǐng)域術(shù)語(yǔ)自動(dòng)獲取的研究工作。 為此本文首先對(duì)領(lǐng)域術(shù)語(yǔ)獲取進(jìn)行了問(wèn)題轉(zhuǎn)化，從信息抽取的角度定義了術(shù)語(yǔ)獲取工作的輸入輸出和任務(wù)描述，并以此為基礎(chǔ)提出了基于統(tǒng)計(jì)學(xué)習(xí)理論的領(lǐng)域術(shù)語(yǔ)獲取的工作機(jī)理和框架流程，同時(shí)闡明了其中文本預(yù)處理、特征表示策略、統(tǒng)計(jì)學(xué)習(xí)模型的選擇和比較是領(lǐng)域術(shù)語(yǔ)獲取工作的核心。 然后本文分別探討了分類方法、序列數(shù)據(jù)標(biāo)注方法、Reranking方法的工作機(jī)理和針對(duì)術(shù)語(yǔ)獲取的問(wèn)題分析；在

3、術(shù)語(yǔ)的特征表示部分，分別提出了針對(duì)上述三種方法的特征表示策略，并通過(guò)實(shí)驗(yàn)說(shuō)明了本文提出的方法相比Genia項(xiàng)目提供的baseline方法可以有效地提高領(lǐng)域術(shù)語(yǔ)自動(dòng)獲取的性能評(píng)測(cè)指標(biāo)。另外，針對(duì)目前還沒(méi)有使用Reranking進(jìn)行術(shù)語(yǔ)獲取研究的現(xiàn)狀，本文借鑒了該思想方法并與序列標(biāo)注模型相結(jié)合形成一個(gè)串行的處理流程，即在CRF模型的基礎(chǔ)上，通過(guò)排序支持向量機(jī)對(duì)候選標(biāo)記序列進(jìn)行重排序，將最好的候選排序到最前面，從而獲取領(lǐng)域術(shù)語(yǔ)。從實(shí)驗(yàn)結(jié)果可以

4、看到在術(shù)語(yǔ)獲取問(wèn)題上，序列數(shù)據(jù)標(biāo)注方法優(yōu)于分類方法，而Reranking方法又在序列數(shù)據(jù)標(biāo)注評(píng)測(cè)結(jié)果的基礎(chǔ)上有了一定的提高。 雖然本文采用的三種統(tǒng)計(jì)學(xué)習(xí)方法相比Genia項(xiàng)目報(bào)告的baseline有顯著的性能提升，但依然可以通過(guò)增加更豐富的特征和使用額外的資源庫(kù)提高性能；另外針對(duì)本文目前所使用的Reranking方法，可以將代價(jià)敏感的排序損失函數(shù)引入到ranking SVM中，用于減少排序頂部位置上的錯(cuò)誤率，從而更準(zhǔn)確地獲得文本