面向中文維基百科模糊限制信息檢測的語料庫建設(shè)與研究.pdf

1、模糊限制語是重要的語言現(xiàn)象，用于表示推測或不確定性的含義。由模糊限制語引導(dǎo)的信息為模糊限制信息。模糊限制信息檢測是信息抽取的首要步驟，旨在將模糊限制信息與事實信息區(qū)分開來，避免將模糊限制信息當(dāng)作事實信息進行抽取。模糊限制信息語料庫是模糊限制信息檢測研究的重要資源。目前，已有多個公開發(fā)表的英文模糊限制信息語料庫，有效地推動了英文模糊限制信息檢測研究的發(fā)展。然而尚未發(fā)現(xiàn)公開發(fā)表的中文模糊限制信息語料庫。本文利用中文維基百科(Wikipedi

2、a)的大規(guī)模真實文本資源，構(gòu)建了用于中文模糊限制信息檢測研究的語料庫。
　　本文首先進行語料庫設(shè)計，然后按照設(shè)計要求構(gòu)建語料庫，并對語料庫進行統(tǒng)計分析。語料庫設(shè)計根據(jù)中文維基百科文本的特點并參考同類英文語料庫開展，規(guī)劃了語料庫的平衡結(jié)構(gòu)和建設(shè)規(guī)模，對語料庫的采樣原則、邏輯結(jié)構(gòu)等進行了具體設(shè)計。其中采樣原則上，利用中文維基百科文本的5種模棱兩可語意模板標(biāo)記采樣，以段落為取樣單位，確保有足夠具代表性的含模糊限制語的句子采集入庫。邏輯結(jié)

3、構(gòu)上，以XML格式對語料庫進行組織，并定義了各類XML元素以及元素的屬性。
　　為減少標(biāo)注的工作量，以基于詞典的最大匹配法對語料庫模糊限制語進行了初始標(biāo)注:首先進行了中文維基百科語料采集，并通過從模糊限制語相關(guān)文獻提取關(guān)鍵詞、利用同義詞詞典查找等方法構(gòu)建了模糊限制語關(guān)鍵詞詞典，然后根據(jù)中文模糊限制語的特點，利用逆向最大匹配法進行自動標(biāo)注。還通過分析標(biāo)注錯誤的產(chǎn)生原因，提出了基于分詞的逆向最大匹配法，有效避免逆向最大匹配法標(biāo)注時出現(xiàn)

4、的組合型歧義錯誤。
　　為完成語料標(biāo)注，本文對模糊限制語自動標(biāo)注進行人工校正，并對模糊限制信息范圍進行人工標(biāo)注。本文提出了具體的標(biāo)注原則。在標(biāo)注模糊限制語時，遵循“最小原則”，即對能表示模糊限制性的最小單元進行標(biāo)注;在標(biāo)注模糊限制信息范圍時，遵循“最大原則”，即標(biāo)注到最大可能的句法單元。語料庫的統(tǒng)計結(jié)果顯示，與逆向最大匹配法相比，基于分詞的逆向最大匹配法有效提高了標(biāo)注精確率，語料庫基本達到了平衡結(jié)構(gòu)的設(shè)計目標(biāo)。
　　本文的研