中文短文本分類(lèi)的相關(guān)技術(shù)研究.pdf

1、隨著搜索引擎、電子郵件、微型博客和觀點(diǎn)評(píng)論等短文本信息在互聯(lián)網(wǎng)范圍內(nèi)的大量出現(xiàn)，有關(guān)短文本的相關(guān)研究逐步受到人們的關(guān)注。目前的文本分類(lèi)技術(shù)多是針對(duì)長(zhǎng)文本進(jìn)行，雖然性能較好但由于短文本字?jǐn)?shù)少、數(shù)量龐大，并多數(shù)依存于網(wǎng)絡(luò)，并不一定適用。國(guó)內(nèi)針對(duì)短文本的研究多集中在語(yǔ)義擴(kuò)展、特征處理等方面，并沒(méi)有特別深入系統(tǒng)的研究。
　　 本文對(duì)短文本的涵蓋范圍、特點(diǎn)及研究領(lǐng)域進(jìn)行了詳細(xì)的分析研究，并對(duì)相關(guān)的研究現(xiàn)狀和關(guān)鍵技術(shù)進(jìn)行介紹。針對(duì)短文本特征

2、稀疏等特點(diǎn)，考慮到傳統(tǒng)的分詞會(huì)因?yàn)樵~匯量稀少而丟掉重要的語(yǔ)義信息，本文采用“字”作為短文本的特征進(jìn)行表示，并結(jié)合共現(xiàn)分析概念提出了基于字共現(xiàn)的特征提取方法。該方法在傳統(tǒng)詞頻統(tǒng)計(jì)的基礎(chǔ)上加入文本中字與字之間的共現(xiàn)信息量，使得特征字能夠更全面地表達(dá)出短文本語(yǔ)義信息，通過(guò)實(shí)驗(yàn)證明該方法能夠明顯提高短文本的分類(lèi)準(zhǔn)確率。
　　 有實(shí)驗(yàn)證明在諸多分類(lèi)算法中，K近鄰（KNN）和支持向量機(jī)（SVM）對(duì)短文本的分類(lèi)效果最好。由于短文本數(shù)量龐大，本

3、文采用KNN分類(lèi)算法并加以改進(jìn)。因KNN算法在分類(lèi)前需要把所有訓(xùn)練文本存儲(chǔ)起來(lái)與待測(cè)樣本進(jìn)行比對(duì)，計(jì)算量比較大，本文提出了一種改進(jìn)的基于近似域KNN分類(lèi)方法。該方法事先對(duì)訓(xùn)練集中各類(lèi)別進(jìn)行區(qū)域劃分，確定類(lèi)別中心域和近似域的范圍，然后根據(jù)待測(cè)樣本到各類(lèi)中心向量之間的距離，判定樣本在各個(gè)類(lèi)別中的分布情況。只針對(duì)處于類(lèi)別近似域內(nèi)的樣本再利用KNN算法進(jìn)行分類(lèi)，縮小KNN的搜索范圍，進(jìn)而提高分類(lèi)的速度和準(zhǔn)確率。同時(shí)，為減少樣本誤判率，對(duì)處于各類(lèi)