中文語句壓縮關(guān)鍵技術(shù)研究.pdf

1、近年來，隨著計算機(jī)和互聯(lián)網(wǎng)的廣泛應(yīng)用和迅速發(fā)展，自然語言處理技術(shù)正進(jìn)入到一個飛速發(fā)展的時代。與此同時，如何從海量數(shù)據(jù)中迅速面準(zhǔn)確的獲取有價值的信息越來越受到研究人員的關(guān)注。語句壓縮技術(shù)作為解決這一問題的基本技術(shù)具有很高的現(xiàn)實意義。語句壓縮可以應(yīng)用于自動文摘、問答系統(tǒng)和機(jī)器翻譯等諸多任務(wù)中。
　　本文以語句壓縮為核心，提出了中文語句壓縮規(guī)范，并在規(guī)范指導(dǎo)下人工標(biāo)注了一個語料庫。利用該語料庫，本文構(gòu)建了一個針對中文任務(wù)的自動壓縮系統(tǒng)，

2、并采用人工和自動兩類指標(biāo)對壓縮結(jié)果進(jìn)行評價。
　　本文的主要工作和貢獻(xiàn)主要包括以下幾個方面:
　　(1)鑒于目前語句壓縮任務(wù)的主流研究方向集中于有監(jiān)督的學(xué)習(xí)方法，而缺乏大規(guī)模適用于該任務(wù)的平行語料庫給研究工作帶來了很大的挑戰(zhàn)。因此，本文根據(jù)中文語言結(jié)構(gòu)特點(diǎn)，提出了一套中文語句壓縮語料庫標(biāo)注規(guī)范，并在該規(guī)范指導(dǎo)下構(gòu)建了語料庫NEUCSS，共3308組“原語句-壓縮句”句對。NEUCSS填補(bǔ)了目前適用于該任務(wù)的語料庫的空白，為未

3、來相關(guān)研究工作提供良好的數(shù)據(jù)基礎(chǔ)。另外，本文還介紹了整個語料庫的標(biāo)注實施過程以及質(zhì)量控制手段。
　　(2)利用NEUCSS語料庫，構(gòu)建了一套針對中文任務(wù)的自動語句壓縮系統(tǒng)。系統(tǒng)基于同步樹替換文法，在預(yù)處理生成平行句法樹的基礎(chǔ)上進(jìn)行規(guī)則抽取，之后采用支持結(jié)構(gòu)化輸出的支持向量機(jī)算法學(xué)習(xí)模型參數(shù)，并利用該參數(shù)對測試句子進(jìn)行解碼，獲得最終壓縮結(jié)果。
　　(3)進(jìn)行了中文語句壓縮任務(wù)的評價指標(biāo)的研究。主要有人工評價和自動評價兩種方法。