基于維基百科的短文本特征擴(kuò)展及分類算法研究.pdf

1、隨著計(jì)算機(jī)和移動(dòng)手持設(shè)備的廣泛應(yīng)用，短文本信息呈現(xiàn)爆炸式的增長(zhǎng)。如何快速有效地實(shí)現(xiàn)短文本的自動(dòng)分類，是目前信息領(lǐng)域亟待解決的問(wèn)題。短文本的長(zhǎng)度在160字以內(nèi)，具有實(shí)時(shí)性、海量性、稀疏性、表達(dá)形式不規(guī)范以及樣本分布不均衡等特點(diǎn)，這使得傳統(tǒng)的文本分類算法在短文本中不能表現(xiàn)出較好的分類效果。針對(duì)短文本的分類問(wèn)題，本文在短文本特征擴(kuò)展和分類算法等方面做了以下研究：
　　首先，針對(duì)短文本樣本分布高度不均衡，傳統(tǒng)的文本分類器難適用等問(wèn)題，本文

2、提出了基于集成算法思想的Bagging_NB和Bagging_BSJ算法。主要是根據(jù)Bagging的算法原理，分別將弱分類器NB算法和算法NB、SVM、J48結(jié)合后的算法作為基分類器訓(xùn)練分類模型。這種改進(jìn)不僅能有效地提高單一分類器的泛化能力，而且能避免過(guò)擬合問(wèn)題，將弱分類器轉(zhuǎn)化為利于短文本分類的強(qiáng)分類器。實(shí)驗(yàn)結(jié)果表明，本文提出的Bagging_BSJ算法其準(zhǔn)確率提高了12％，召回率提高了28%，F(xiàn)值提高了20%左右。
　　其次，針

3、對(duì)詞項(xiàng)間的語(yǔ)義關(guān)系量化問(wèn)題，本文提出了一種基于維基百科文本和鏈接信息的語(yǔ)義相似度計(jì)算方法—WLA。受到基于維基百科的明確語(yǔ)義分析和鏈接信息計(jì)算方法的啟發(fā)，WLA算法綜合考慮了維基百科主題頁(yè)面內(nèi)的文本信息和鏈接結(jié)構(gòu)，提取摘要段的文本信息和整個(gè)頁(yè)面內(nèi)的鏈接信息(入鏈接和出鏈接)，分別進(jìn)行語(yǔ)義相似度計(jì)算，然后以不同的權(quán)重將這兩種語(yǔ)義相似度計(jì)算相結(jié)合，作為兩個(gè)詞項(xiàng)間的語(yǔ)義關(guān)系量化模型。WLA算法為后文短文本特征擴(kuò)展模型中的語(yǔ)義擴(kuò)展提供了理論依據(jù)

4、。
　　最后，針對(duì)短文本的特征稀疏性，本文將維基百科作為外部語(yǔ)義知識(shí)庫(kù)，提出了兩種短文本特征擴(kuò)展模型。一種是對(duì)維基百科主題頁(yè)面內(nèi)的文本信息進(jìn)行預(yù)處理，將得到的特征詞項(xiàng)向量作為短文本特征的擴(kuò)展詞表，這個(gè)過(guò)程稱為維基擴(kuò)展；另一種是基于WLA語(yǔ)義關(guān)系模型，計(jì)算主題特征詞與維基擴(kuò)展向量中各元素間的語(yǔ)義相似度，選擇相似度高的詞項(xiàng)組成短文本主題特征的擴(kuò)展詞表，稱為語(yǔ)義擴(kuò)展。實(shí)驗(yàn)結(jié)果表明，與未進(jìn)行特征擴(kuò)展的原始短文本數(shù)據(jù)相比，本文提出的兩種擴(kuò)展