漢語語義組塊識別研究.pdf

1、隨著當(dāng)今社會信息化進程的加快以及互聯(lián)網(wǎng)的飛速發(fā)展，自然語言處理技術(shù)被廣泛應(yīng)用于機器翻譯、信息檢索和人機交互等信息處理領(lǐng)域。經(jīng)過多年發(fā)展，自然語言處理逐漸由基于規(guī)則的方法過渡到基于統(tǒng)計的方法?；谝?guī)則的方法以深層分析和理解自然語言為目的，在實現(xiàn)中復(fù)雜且困難；基于統(tǒng)計的方法以淺層處理自然語言為目的，便于利用計算機實現(xiàn)。
　　語義組塊分析技術(shù)是自然語言處理中淺層語義分析和句法分析的代表，旨在解釋自然語言中語法和語義之間的關(guān)聯(lián)。組塊的長度

2、介于句子和單詞之間，在各種自然語言中有著不同的劃分，本文主要在漢語上展開相關(guān)的研究工作。
　　漢語的組塊分析并沒有統(tǒng)一的描述體系，因研究目的不同，研究者們各自提出了不同的組塊分析體系。組塊分析是淺層句法分析技術(shù)，基于對漢語句子語法和語義綜合考慮進行分析的目的，本文在組塊分析的相關(guān)任務(wù)語義角色標注問題上，沿用前人對語義組塊的定義，對語義組塊識別階段的關(guān)鍵技術(shù)進行了深入的研究。
　　語義組塊分析是自然語言處理中淺層語義分析和句法

3、分析的重要內(nèi)容，本文針對漢語語義組塊識別中普遍存在的召回率不高這一問題，提出了一種新的標注方式：IO標注法，并利用支持向量機（SVM）模型二類分類的特性充分地發(fā)揮了該標注法只有兩種標識的優(yōu)勢，在語義組塊識別階段極大地提高了召回率進而提升了F1值。同時，本文也使用條件隨機場（CRF）模型對語義組塊按I、O標識進行了序列標注的研究。實驗結(jié)果表明，在漢語的賓州命題庫上，結(jié)合IO標注法的基于支持向量機的語義組塊識別系統(tǒng)可以取得最好的性能，將F1

4、值提高到了80.30％，高于采取其它標注法的系統(tǒng)，實驗還進一步表明不同標注法對語義組塊識別系統(tǒng)性能的影響。
　　本文具體的組織結(jié)構(gòu)如下：首先，介紹了語義組塊識別的流程及評價方法，從中可知，經(jīng)過語義組塊識別后，句子中的各成分被標注了不同的標識，表征該成分是否是語義組塊，本文以標注方式作為切入點，提出了一種全新的標注法，將其應(yīng)用到語義組塊識別階段，并與傳統(tǒng)的標注方式做出比較；其次，結(jié)合 IO標注法，使用統(tǒng)計機器學(xué)習(xí)方法CRF和SVM建