規(guī)則與統(tǒng)計(jì)相結(jié)合的中文命名實(shí)體識(shí)別.pdf

1、自然語(yǔ)言處理作為人工智能的重要研究領(lǐng)域之一，是利用計(jì)算機(jī)進(jìn)行語(yǔ)言知識(shí)的獲取、表示以及應(yīng)用的技術(shù)，為人與計(jì)算機(jī)之間的信息交流提供了更加高效、便捷的方法。由于漢語(yǔ)的書寫習(xí)慣，詞與詞之間的邊界標(biāo)志是隱含的，對(duì)于大多數(shù)漢語(yǔ)處理系統(tǒng)來(lái)講，首先要做的工作就是分詞。而在實(shí)際應(yīng)用中，分詞仍然受到諸多因素的制約。其中，命名實(shí)體是制約分詞精度提高的最主要原因，其識(shí)別的好壞將直接影響分詞的精度以及其后的詞性標(biāo)注和句法分析的精度。另外，命名實(shí)體識(shí)別的研究還有利

2、于信息抽取、信息檢索、機(jī)器翻譯、文本分類等應(yīng)用系統(tǒng)的實(shí)現(xiàn)。因此，研究命名實(shí)體的自動(dòng)識(shí)別具有重要的理論意義和實(shí)踐價(jià)值。 目前，國(guó)內(nèi)外關(guān)于中文命名實(shí)體識(shí)別的研究仍然存在著識(shí)別的自動(dòng)化程度不高，忽視了詞法、句法及語(yǔ)義信息的作用等問(wèn)題，并且大部分的研究只是針對(duì)人名的識(shí)別，而對(duì)于地名和機(jī)構(gòu)名識(shí)別的研究還不夠成熟。 針對(duì)上述不足，本文以中文人名、譯名、地名和機(jī)構(gòu)名的識(shí)別為研究重點(diǎn)，提出了一種規(guī)則與統(tǒng)計(jì)相結(jié)合的一體化解決方案，該方案采

3、用了雙層命名實(shí)體識(shí)別模型來(lái)識(shí)別包括嵌套地名和機(jī)構(gòu)名在內(nèi)的多種命名實(shí)體。該雙層命名實(shí)體識(shí)別模型的實(shí)現(xiàn)思想是：首先，在分詞之前建立第一層命名實(shí)體識(shí)別模型，該模型由名實(shí)體檢索算法實(shí)現(xiàn)，該算法利用命名實(shí)體的特征詞，如人名的姓氏、地名的后綴詞來(lái)引發(fā)命名實(shí)體的識(shí)別，并根據(jù)詞法規(guī)則信息和命名實(shí)體的用字統(tǒng)計(jì)信息來(lái)識(shí)別部分命名實(shí)體；然后，在分詞之后所得到的N個(gè)合法分詞序列的基礎(chǔ)上，引入第二層命名實(shí)體識(shí)別模型——基于隱馬爾科夫的統(tǒng)計(jì)模型，該模型可以識(shí)別人名

4、、譯名、地名和機(jī)構(gòu)名，并利用第一層模型所識(shí)別出來(lái)的命名實(shí)體識(shí)別嵌套的地名和機(jī)構(gòu)名。 本文重點(diǎn)討論了如何在分詞之前和分詞之后分別設(shè)計(jì)和實(shí)現(xiàn)命名實(shí)體識(shí)別模型，并考慮將該雙層模型結(jié)合到己建立的漢語(yǔ)句法分析系統(tǒng)的分詞子系統(tǒng)中，既保證命名實(shí)體識(shí)別與并發(fā)檢索一綜合排歧分詞子系統(tǒng)的兼容性，又能夠較好地支持基于二元關(guān)系模型的漢語(yǔ)句法分析系統(tǒng)。 在雙層識(shí)別模型中，第一層模型能夠很好地支持第二層模型識(shí)別出復(fù)雜結(jié)構(gòu)的命名實(shí)體，二者相輔相成，很