中文術(shù)語抽取若干問題研究.pdf

1、術(shù)語作為專業(yè)知識(shí)的集中載體，它的創(chuàng)建、普及和消亡，動(dòng)態(tài)展現(xiàn)了一個(gè)學(xué)科的發(fā)展、演變歷程。專業(yè)術(shù)語數(shù)據(jù)庫作為一種知識(shí)源，能夠?yàn)楦黝愌芯咳藛T便捷地獲取專業(yè)知識(shí)提供重要支持。術(shù)語自動(dòng)抽取是構(gòu)建專業(yè)術(shù)語庫的關(guān)鍵技術(shù)，同時(shí)也是自然語言處理領(lǐng)域中的一項(xiàng)基本課題，為包括機(jī)器翻譯、文檔摘要、信息檢索、文本分類、詞典編纂等在內(nèi)的諸多自然語言研究起到支撐作用。
　　 本文突破了名詞短語的限制，接納更多非名詞性結(jié)構(gòu)的專業(yè)術(shù)語，拓寬了語言規(guī)則。結(jié)合實(shí)證分

2、析和機(jī)器學(xué)習(xí)策略，分別從結(jié)構(gòu)完整性、領(lǐng)域相關(guān)度和詞語搭配三個(gè)方面展開研究，主要工作包括：
　　 ⑴以詞為最小語言單位，構(gòu)建一個(gè)涵蓋四萬余條計(jì)算機(jī)專業(yè)術(shù)語的數(shù)據(jù)庫。針對不同長度術(shù)語的分布特性，結(jié)合機(jī)器學(xué)習(xí)方法從多角度提煉出術(shù)語結(jié)構(gòu)的詞法特征。豐富語言規(guī)則的同時(shí)，擴(kuò)大了規(guī)則覆蓋面，提高術(shù)語抽取的召回率。
　　 ⑵針對單詞型術(shù)語結(jié)構(gòu)簡單，邊界清晰的特征，提出一種基于模糊聚類的識(shí)別算法。將術(shù)語識(shí)別過程成功轉(zhuǎn)化為二值分類任務(wù)，無需

3、專業(yè)辭典和諸多語料庫的支持，實(shí)現(xiàn)單詞型術(shù)語的自動(dòng)聚合標(biāo)注。
　　 ⑶不同于已有方法中采用單一父串到多子串的歸并策略，本文從單一子串與多父串之間的逆向映射關(guān)系出發(fā)，提出了一種基于獨(dú)立性統(tǒng)計(jì)的子串歸并算法，以此判斷候選術(shù)語的結(jié)構(gòu)完整性。實(shí)驗(yàn)表明，在O(n)的時(shí)間內(nèi)，該算法不僅可以刪除普通子串，還能有效過濾由公共子串造成的干擾，將候選術(shù)語集有效縮減29.44％。
　　 ⑷以非名詞性詞語的構(gòu)詞能力為研究對象，提出了“詞匯活躍度”

4、(Word ActiveDegree，WAD)的概念。同時(shí)結(jié)合詞匯間粘合度，分析短語內(nèi)部詞語的搭配特征，過濾掉非良性搭配和局部成分過分活躍的短語。實(shí)驗(yàn)表明，采用WAD作為詞語搭配評(píng)判標(biāo)準(zhǔn)，對由動(dòng)賓短語和介詞短語引發(fā)的錯(cuò)誤有較強(qiáng)的識(shí)別能力，正確率高達(dá)99.97％。
　　 ⑸根據(jù)術(shù)語和非術(shù)語在語料庫中變化趨勢的分布差異性，結(jié)合局部及全局特征，提出了一種基于分布變化特征的領(lǐng)域相關(guān)度計(jì)算方法。實(shí)驗(yàn)表明，該方法不僅能夠大幅降低計(jì)算復(fù)雜度，