漢語語義組塊識別研究.pdf

1、隨著當今社會信息化進程的加快以及互聯(lián)網(wǎng)的飛速發(fā)展，自然語言處理技術被廣泛應用于機器翻譯、信息檢索和人機交互等信息處理領域。經(jīng)過多年發(fā)展，自然語言處理逐漸由基于規(guī)則的方法過渡到基于統(tǒng)計的方法?；谝?guī)則的方法以深層分析和理解自然語言為目的，在實現(xiàn)中復雜且困難；基于統(tǒng)計的方法以淺層處理自然語言為目的，便于利用計算機實現(xiàn)。
　　語義組塊分析技術是自然語言處理中淺層語義分析和句法分析的代表，旨在解釋自然語言中語法和語義之間的關聯(lián)。組塊的長度

2、介于句子和單詞之間，在各種自然語言中有著不同的劃分，本文主要在漢語上展開相關的研究工作。
　　漢語的組塊分析并沒有統(tǒng)一的描述體系，因研究目的不同，研究者們各自提出了不同的組塊分析體系。組塊分析是淺層句法分析技術，基于對漢語句子語法和語義綜合考慮進行分析的目的，本文在組塊分析的相關任務語義角色標注問題上，沿用前人對語義組塊的定義，對語義組塊識別階段的關鍵技術進行了深入的研究。
　　語義組塊分析是自然語言處理中淺層語義分析和句法

3、分析的重要內容，本文針對漢語語義組塊識別中普遍存在的召回率不高這一問題，提出了一種新的標注方式：IO標注法，并利用支持向量機（SVM）模型二類分類的特性充分地發(fā)揮了該標注法只有兩種標識的優(yōu)勢，在語義組塊識別階段極大地提高了召回率進而提升了F1值。同時，本文也使用條件隨機場（CRF）模型對語義組塊按I、O標識進行了序列標注的研究。實驗結果表明，在漢語的賓州命題庫上，結合IO標注法的基于支持向量機的語義組塊識別系統(tǒng)可以取得最好的性能，將F1

4、值提高到了80.30％，高于采取其它標注法的系統(tǒng)，實驗還進一步表明不同標注法對語義組塊識別系統(tǒng)性能的影響。
　　本文具體的組織結構如下：首先，介紹了語義組塊識別的流程及評價方法，從中可知，經(jīng)過語義組塊識別后，句子中的各成分被標注了不同的標識，表征該成分是否是語義組塊，本文以標注方式作為切入點，提出了一種全新的標注法，將其應用到語義組塊識別階段，并與傳統(tǒng)的標注方式做出比較；其次，結合 IO標注法，使用統(tǒng)計機器學習方法CRF和SVM建