基于統(tǒng)計(jì)的自然語(yǔ)言處理.pdf

1、統(tǒng)計(jì)語(yǔ)言模型已經(jīng)成功地應(yīng)用于語(yǔ)音識(shí)別，拼寫(xiě)糾正，機(jī)器翻譯，信息檢索等許多自然語(yǔ)言處理領(lǐng)域。怎樣將語(yǔ)言學(xué)知識(shí)與統(tǒng)計(jì)模型融合起來(lái)是當(dāng)前自然語(yǔ)言處理研究中的一個(gè)熱點(diǎn)，也是一個(gè)十分困難的問(wèn)題。本文在這方面進(jìn)行了比較深入的探索，研究的內(nèi)容包括：基于詞類的N元統(tǒng)計(jì)模型、詞性標(biāo)注模型、句法分析統(tǒng)計(jì)模型等，并取得了以下幾項(xiàng)研究成果：1、在統(tǒng)計(jì)語(yǔ)言模型中，詞的聚類是解決數(shù)據(jù)稀疏問(wèn)題的主要方法之一。傳統(tǒng)的統(tǒng)計(jì)聚類方法通?；谪澙吩瓌t，以語(yǔ)料的似然函數(shù)或困惑

2、度作為判別函數(shù)。這種傳統(tǒng)方法的主要缺點(diǎn)是聚類速度慢，初值對(duì)結(jié)果影響大，易陷入局部最優(yōu)。本文提出的分層聚類算法基于詞的相似度，詞集合的相似度，自下而上，能得到全局最優(yōu)的結(jié)果；且計(jì)算復(fù)雜度遠(yuǎn)遠(yuǎn)小于傳統(tǒng)的基丁貪婪原則的聚類方法，以相對(duì)非常小的計(jì)算代價(jià)獲得了相對(duì)較好的聚類效果。 2、本文給出了兩種詞相似度定義：一種定義在有鄰接關(guān)系的詞之間的互信息基礎(chǔ)上，這種相似度的計(jì)算只要利用已分詞的語(yǔ)料庫(kù)即可，但這種相似度的定義沒(méi)有考慮詞之間實(shí)際的語(yǔ)

3、義、語(yǔ)法依存關(guān)系，因而建立在這種相似度定義基礎(chǔ)上的聚類模型適用于對(duì)句子進(jìn)行初步的分析；另一種將語(yǔ)言知識(shí)與統(tǒng)計(jì)方法結(jié)合起來(lái)，定義在有語(yǔ)義、語(yǔ)法依存關(guān)系的詞之間的互信息基礎(chǔ)上。該相似度的計(jì)算要利用己標(biāo)注了句法結(jié)構(gòu)的語(yǔ)料庫(kù)，這種定義充分考慮了詞之間語(yǔ)義、語(yǔ)法關(guān)系，建立在該種定義基礎(chǔ)上的聚類模型可用于對(duì)句子進(jìn)行句法結(jié)構(gòu)分析。 3、基于類的n-gram模型犧牲了一部分預(yù)測(cè)能力。由于類的數(shù)目遠(yuǎn)小于詞，因此可以適當(dāng)?shù)奶岣遪值來(lái)改善系統(tǒng)性能。但

4、這種方法也有一些缺點(diǎn)：模型參數(shù)隨n指數(shù)增加，大大增加系統(tǒng)在存儲(chǔ)和計(jì)算方面的開(kāi)銷，同時(shí)也會(huì)帶來(lái)新的數(shù)據(jù)稀疏問(wèn)題。為解決這一問(wèn)題，本文提出了一種絕對(duì)權(quán)重差分方法，并用這種方法構(gòu)造了一種可變長(zhǎng)語(yǔ)言模型，該模型具有良好的預(yù)測(cè)性。 4、本文首次提出一種統(tǒng)計(jì)模型，即馬爾可夫族模型，該模型假定一個(gè)詞出現(xiàn)概率既與當(dāng)前詞的詞性標(biāo)記有關(guān)，也與它前面的詞有關(guān)，但其前面的詞和該詞詞性標(biāo)記關(guān)于該詞條件獨(dú)立。將馬爾可夫族模型加以適當(dāng)?shù)暮?jiǎn)化，能成功地用于詞性

5、標(biāo)記，實(shí)驗(yàn)結(jié)果證明：在相同的測(cè)試條件下，這種基于馬爾可夫族模型的詞性標(biāo)注方法標(biāo)記成功率大大高于傳統(tǒng)的基于隱馬爾可夫模型的詞性標(biāo)注方法，且計(jì)算復(fù)雜度與基于隱馬爾可夫模型的詞性標(biāo)注方法相同。 5、本文建立了一種能充分利用語(yǔ)義、語(yǔ)法等語(yǔ)言知識(shí)，同時(shí)考慮了鄰接等上下文關(guān)系的句法分析統(tǒng)計(jì)模型。概率上下文無(wú)關(guān)語(yǔ)法中由概率的上下文無(wú)關(guān)性假設(shè)和祖先結(jié)點(diǎn)無(wú)關(guān)性假設(shè)引起的問(wèn)題在該模型中得到很好的解決。與Collins的頭驅(qū)動(dòng)句法分析模型相比較，該模

6、型也有幾個(gè)明顯的優(yōu)點(diǎn)：(1)詞性標(biāo)注既考慮了句子中的語(yǔ)法依存關(guān)系，也考慮了有鄰接關(guān)系的詞的詞性標(biāo)記之間的關(guān)系；(2)該模型建立在聚類的基礎(chǔ)上，數(shù)據(jù)稀疏問(wèn)題不嚴(yán)重；(3)該模型可同時(shí)考慮幾種語(yǔ)義依存關(guān)系。該統(tǒng)計(jì)模型在用于句法分析的同時(shí)，還能進(jìn)行詞性標(biāo)注、分詞等工作.該模型在用于句法分析時(shí)包括兩個(gè)主要階段：先利用其它的句法分析方法(如上下文無(wú)關(guān)語(yǔ)法)進(jìn)行句法分析，得到所有可能的句法樹(shù)；再利用該模型對(duì)句法樹(shù)進(jìn)行選擇。 6、本文成功地建