頻繁依存子樹模式在問題分類中的應(yīng)用研究.pdf

1、問題分類是自動問答系統(tǒng)的關(guān)鍵步驟,對計算機準(zhǔn)確理解自然語言問題的真實含義起著至關(guān)重要的作用。中文語言的意合性、無時態(tài)變化、語序靈活性以及詞的平均依存距離遠(yuǎn)等特點,造成了中文問題分類的困難。根據(jù)中文依存語法,問句可解析成依存關(guān)系樹,而中文問句的常見自然語言結(jié)構(gòu)特征,自然就會反映在依存關(guān)系樹集中頻繁出現(xiàn)的特征子結(jié)構(gòu)中。亦即,可以從中文問句的依存關(guān)系樹庫中,挖掘中文問題的特征子結(jié)構(gòu),以輔助進(jìn)行中文問題分類。本文即致力于研究中文問句依存關(guān)系樹庫

2、的挖掘問題,并將挖掘結(jié)果應(yīng)用于問題分類。
　　本文主要研究工作如下:
　　(1)由于條件隨機場模型應(yīng)用于中心詞標(biāo)注時未能充分利用中心詞特征間存在的深層統(tǒng)計關(guān)系,提出利用中文問句的依存關(guān)系樹結(jié)構(gòu),通過挖掘問句依存關(guān)系樹所蘊藏的中心詞各維度特征之間的統(tǒng)計概率關(guān)系,來正確標(biāo)注中心詞的新方法。該方法通過挖掘頻繁依存子樹模式以生成相應(yīng)統(tǒng)計規(guī)則模式,并使用頻繁依存子樹模式統(tǒng)計規(guī)則對中心詞的條件隨機場模型初始標(biāo)注進(jìn)行校正,將條件隨機場模型

3、的中心詞標(biāo)注準(zhǔn)確率進(jìn)一步提高了3％左右。此方法建立在嚴(yán)格的統(tǒng)計語料基礎(chǔ)上,標(biāo)注的穩(wěn)定性、適應(yīng)性和魯棒性較好。
　　(2)對頻繁依存子樹模式生成的大量統(tǒng)計規(guī)則,本文探討了依存子樹規(guī)則冗余的定義,結(jié)合問句中心詞的特點,提出了在生成規(guī)則時與應(yīng)用規(guī)則時的冗余消減方式。通過刪減簡單冗余、嚴(yán)格冗余的、低置信度等依存子樹冗余規(guī)則使得規(guī)則數(shù)量明顯減少,而中心詞標(biāo)注的準(zhǔn)確率保持穩(wěn)定。
　　(3)提出了類別頻繁子樹模式分類規(guī)則生成算法,以挖掘不