中文短文本命名實(shí)體識(shí)別方法研究.pdf

1、隨著BBS,聊天室,即時(shí)通訊軟件,手機(jī)短信等這些短文本在Internet信息流中日益突出的地位,人們迫切需要一些自動(dòng)化工具幫助進(jìn)行短文本海量信息處理。短文本命名實(shí)體識(shí)別是短文本處理中必不可少的關(guān)鍵技術(shù),具有重要的研究意義。迄今為止,據(jù)我們所知,尚無(wú)人進(jìn)行該方面的研究,所以,它也是一項(xiàng)急需解決的緊迫任務(wù)。
　　 短文本命名實(shí)體識(shí)別主要存在下述兩個(gè)問(wèn)題:
　　 首先,現(xiàn)有的命名實(shí)體識(shí)別方法不適合短文本命名實(shí)體識(shí)別。如何依據(jù)已

2、有的命名實(shí)體識(shí)別方法,結(jié)合短文本自身的特性,探尋出適用于短文本的命名實(shí)體識(shí)別方法成為急需解決的重要問(wèn)題。
　　 其次,短文本組織名的識(shí)別效率低下問(wèn)題。如何提高短文本組織名識(shí)別成為短文本命名實(shí)體識(shí)別的一個(gè)重要問(wèn)題。
　　 針對(duì)第一個(gè)問(wèn)題,提出了一種面向短文本的快速有效的命名實(shí)體識(shí)別方法。該方法主要分成三步:第一步,針對(duì)短文本表達(dá)不規(guī)范特性對(duì)命名實(shí)體識(shí)別的干擾,采取去干擾字符,化繁為簡(jiǎn)等規(guī)范化操作。第二步,針對(duì)短文本語(yǔ)意不完

3、整特性,提出用HMM(隱馬爾可夫模型)以詞性做觀察值,通過(guò)Viterbi算法進(jìn)行初步命名實(shí)體識(shí)別。第三步,據(jù)初步識(shí)別結(jié)果,構(gòu)建拼音同指關(guān)系庫(kù)來(lái)識(shí)別潛在實(shí)體。實(shí)驗(yàn)表明,該方法能較好的進(jìn)行短文本命名實(shí)體識(shí)別。
　　 針對(duì)第二個(gè)問(wèn)題,提出了一種利用實(shí)體關(guān)系識(shí)別短文本組織名的方法。該方法主要分成三步:第一步,改進(jìn)樸素貝葉斯分類器為關(guān)系分類器,對(duì)文本標(biāo)注關(guān)系類別標(biāo)簽。第二步,標(biāo)簽不為0:根據(jù)實(shí)體關(guān)系類別和文本中存在的人名,地名情況,判定文