漢語(yǔ)詞類劃分與詞性標(biāo)注方法的研究.pdf

1、詞類劃分與詞性標(biāo)注都是自然語(yǔ)言處理中重要的基礎(chǔ)性研究課題,也是后續(xù)研究如淺層句法分析、文本分類、機(jī)器翻譯等的基礎(chǔ)。該課題的研究方法主要有三種:基于規(guī)則的方法、基于統(tǒng)計(jì)的方法以及兩者相結(jié)合的方法。其中,基于統(tǒng)計(jì)的方法又分為監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)等三種學(xué)習(xí)方式。本文主要從基于統(tǒng)計(jì)的角度去探索詞類劃分和詞性標(biāo)注的,主要內(nèi)容如下:
　　 1、兼類詞詞性消歧是中文詞性標(biāo)注的難點(diǎn)之一。本文集成了支持向量機(jī),條件隨機(jī)場(chǎng),最大熵等三種

2、分類模型,對(duì)兼類詞詞性進(jìn)行投票消歧,把得票多的詞性作為該詞的詞性。以1998年1月份已標(biāo)注《人民日?qǐng)?bào)》為實(shí)驗(yàn)語(yǔ)料,對(duì)120個(gè)常見(jiàn)的兼類詞進(jìn)行開(kāi)放測(cè)試,平均精度達(dá)到89.69％,取得了較好的效果。
　　 2、詞類劃分是指詞語(yǔ)在語(yǔ)法意義上的分類,即詞與詞相組合的過(guò)程中所體現(xiàn)出來(lái)的類別。本文以句法功能信息庫(kù)為藍(lán)本,以該庫(kù)中所列的14個(gè)屬性為特征空間,以其中的句法功能統(tǒng)計(jì)數(shù)據(jù)作為特征值,并對(duì)這些空間特征進(jìn)行歸一化處理,利用AP算法,對(duì)它

3、收錄的3514個(gè)詞進(jìn)行聚類,共聚出62類,基本上把語(yǔ)法相同的或相似的詞歸為了一類。
　　 3、對(duì)詞性進(jìn)行聚類也是研究兼類詞消歧的手段之一。本文從1998年1月份《人民日?qǐng)?bào)》中抽取了12個(gè)兼類詞,這些兼類詞在分類時(shí),效果不好,而且基準(zhǔn)精度較低,區(qū)別度不大。本文利用AP聚類、k-means聚類、譜聚類等常見(jiàn)聚類算法；分別采用了歐氏距離、Dice系數(shù)、夾角余弦作為相似度的衡量方法；采用上下文詞頻作為特征,并對(duì)這些特征進(jìn)行了提升、歸一化