基于隱馬爾可夫模型的中英文句子分析與研究.pdf

1、隨著自然語言和互聯(lián)網(wǎng)的飛速發(fā)展，全球每天都有成千上萬甚至上億的各種新聞事件發(fā)布，而大部分是英文新聞，在漢語國家中也有大量的中文新聞公布，如何從這些大量英文新聞中快速的識別其主旨，識別出其具體的名詞和動詞，這取決于該句子中每個英文單詞的具體標(biāo)記詞性。本文采用隱馬爾可夫模型對英文句子標(biāo)記語料庫進(jìn)行訓(xùn)練然后得出英文隱馬爾可夫模型文件，然后用該模型文件去標(biāo)記識別英文句子具體成分，找出句子中對應(yīng)具體的名詞和動詞，從而提煉句子，找到該句子或該文章中

2、的主題關(guān)鍵字，因此我們只需要讀取這些主題詞便可了解該文章大致內(nèi)容，就不必再詳細(xì)看細(xì)節(jié)內(nèi)容了。也可以利用這種識別標(biāo)記應(yīng)用于多篇英文文章分析。這種自動幫我們識別詞性并分析為我們節(jié)約大量的讀英文新聞時間。
　　 同樣，對于大量的中文句子我們?nèi)绾巫寵C(jī)器自動斷句分詞，找出一篇文章中重復(fù)度很高的名詞和動詞確定主旨詞，也可用于比較文章的相似度和相關(guān)度，甚至可對這些中文分詞結(jié)果作中文詞性分析，識別出句子中具體的名詞、動詞、形容詞、副詞、介詞、助

3、詞等。根據(jù)此要求本文也采用隱馬爾可夫模型對大量的中文詞庫訓(xùn)練集進(jìn)行訓(xùn)練，得到中文隱馬爾可夫模型文件，然后用所得中文隱馬爾可夫模型文件去對中文句子進(jìn)行快速自動分詞，以供搜索引擎使用，還可以用在切詞軟件中，并且所得的分詞結(jié)果可用在中文篇章分析中，得出文章的相關(guān)度。
　　 以上兩種功能的核心是采用馬爾可夫鏈來建隱馬爾可夫模型，從建模型文件過程得出一些英文單詞與下一單詞的概率數(shù)值，也可以得出一個中文漢字和下一漢字之間概率數(shù)值。利用這些概