基于詞語搭配知識和語法功能匹配的句法分析器.pdf

1、句法分析技術(shù)是信息處理領(lǐng)域的核心技術(shù)之一，也是難點所在。本文認為，詞語搭配和句法結(jié)構(gòu)之間有著密切的聯(lián)系，將詞語搭配知識加入到句法分析過程中有助于句法分析精度的提高。本文以詞語搭配庫和句法分析器互建的思想為指導(dǎo)，在研究中引入了哈工大、伯克利、斯坦福三所大學(xué)研制的句法分析器;在對比三個句法分析器分析結(jié)果的基礎(chǔ)上，分別提出了兩種大規(guī)模詞語搭配的自動獲取方法。第一種方法基于依存關(guān)系的句法分析，比對句法分析結(jié)果中的相同詞對;第二種方法基于短語關(guān)系

2、的句法分析，比對句法分析結(jié)果中的相同層次。實驗表明，詞語搭配的兩種自動獲取方法都能夠有效的獲取大規(guī)模詞語搭配，其中基于短語關(guān)系的獲取方法可以從14年新華社語料中獲取得到約500萬詞語搭配型，抽樣搭配精度約84％。
　　 使用自動獲取得到的詞語搭配資源，本文選取了四個搭配篩選條件用于詞語搭配的優(yōu)選，在搭配精度和搭配規(guī)模之間找到一個最佳的組合優(yōu)選方式，并以此構(gòu)建了一個包含十四個數(shù)據(jù)項的、百萬搭配型數(shù)量的詞語搭配知識庫，知識庫的抽樣搭

3、配精度超過90％。通過對知識庫中的十四個數(shù)據(jù)項分別進行個體分析和關(guān)聯(lián)分析，進一步挖掘了搭配類型、搭配次數(shù)、搭配距離等搭配相關(guān)屬性之間的內(nèi)在規(guī)律和聯(lián)系。
　　 在建設(shè)完善了大規(guī)模、高質(zhì)量的詞語搭配資源之后，本文將詞語搭配知識添加進基于語法功能匹配的句法分析算法，構(gòu)建了一個基于詞語搭配知識和語法功能匹配的句法分析器(CGFM)。使用新華社新聞?wù)Z料作為開放測試語料，在單句法分析器的個體性能評測中，CGFM分析器開放測試的句法分析F值約