中文短文本命名實(shí)體識(shí)別方法與應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，以短文本形式出現(xiàn)的信息呈現(xiàn)爆炸式的增長(zhǎng)，比如在線即時(shí)聊天信息、手機(jī)簡(jiǎn)訊、微博、短文本評(píng)論及電子商務(wù)網(wǎng)站中的產(chǎn)品標(biāo)題等。在這種趨勢(shì)下就給短文本信息智能處理提供了廣闊的應(yīng)用空間，而這些短文本都有一些共同的特點(diǎn)，一般文本的長(zhǎng)度小于160字符從而比較短，同時(shí)信息概念描述有限。命名實(shí)體識(shí)別是作為信息自動(dòng)處理的最為基礎(chǔ)的關(guān)鍵技術(shù)之一，同時(shí)是文本分類(lèi)預(yù)處理分詞階段不可或缺的組成部分。
　　 針對(duì)短文本的中文組織名識(shí)別屬于

2、命名實(shí)體識(shí)別范疇，組織名作為一種復(fù)雜的命名實(shí)體類(lèi)型，在短文本中它具有長(zhǎng)度不穩(wěn)定、結(jié)構(gòu)無(wú)序及處處存在簡(jiǎn)寫(xiě)和略寫(xiě)的特點(diǎn)，還常常與人名地名出現(xiàn)組合嵌套的情況，所以業(yè)內(nèi)對(duì)它的識(shí)別效果目前還不夠理想。
　　 本文提出了一種基于實(shí)體對(duì)關(guān)系庫(kù)的中文短文本組織名識(shí)別方法。其主要思想分為三步:第一步，利用維基百科(Wikipedia)的結(jié)構(gòu)特點(diǎn)提取實(shí)體對(duì)關(guān)系庫(kù)。第二步，對(duì)實(shí)體對(duì)關(guān)系庫(kù)上下文進(jìn)行向量化并建立向量空間模型。第三步，利用相似度比較的方法

3、并結(jié)合隱馬爾科夫模型命名實(shí)體識(shí)別方法及搜索引擎重構(gòu)方法，最終識(shí)別組織機(jī)構(gòu)名。經(jīng)實(shí)驗(yàn)，本方法召回率達(dá)到了58.49％，F(xiàn)1值達(dá)到了67.39％，較隱馬爾科夫模型分別提高了13.6和9.19個(gè)百分點(diǎn)，實(shí)驗(yàn)證明本方法是有效的。
　　 針對(duì)電子商務(wù)領(lǐng)域內(nèi)的產(chǎn)品標(biāo)題短文本分類(lèi)，本文對(duì)產(chǎn)品標(biāo)題的文本特點(diǎn)及類(lèi)別特點(diǎn)進(jìn)行深入的研究和分析，在分類(lèi)的文本預(yù)處理分詞階段后引入命名實(shí)體識(shí)別方法，采用一種基于規(guī)則和樸素貝葉斯分類(lèi)(Naive Bayes)

4、相結(jié)合的文本分類(lèi)方法。本方法分為二步:第一步，首先通過(guò)分析商務(wù)信息產(chǎn)品標(biāo)題的文本及類(lèi)別特點(diǎn)，提取類(lèi)別的特征詞形成一個(gè)規(guī)則特征表，該表每個(gè)類(lèi)都對(duì)應(yīng)一個(gè)或多個(gè)代表性的特征，然后利用特征規(guī)則表對(duì)測(cè)試文本進(jìn)行分類(lèi)。如果測(cè)試文本包含某個(gè)類(lèi)的特征，將置信度置為1，然后將測(cè)試文本分到特征對(duì)應(yīng)的類(lèi)別，否則將將置信度置為0。第二步:將上一步置信度置為0的文本，再通過(guò)貝葉斯分類(lèi)器進(jìn)行重分類(lèi)。本文采用13個(gè)類(lèi)別，經(jīng)過(guò)實(shí)驗(yàn)，取得了理想的預(yù)期效果，在準(zhǔn)確率、召回