文本分類(lèi)技術(shù)與應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)上充斥著各種信息,其中有一些信息,如恐怖組織等通過(guò)互聯(lián)網(wǎng)散布的消息,直接影響著國(guó)家安全與穩(wěn)定。傳統(tǒng)的按IP地址、主題進(jìn)行信息攔截的方法已不再適合當(dāng)前的需要,目前主要是對(duì)內(nèi)容進(jìn)行監(jiān)控。
　　 鑒于Internet上的大部分信息都以文本的形式存在,以上技術(shù)大都依賴(lài)于文本內(nèi)容的理解,核心技術(shù)是文本分類(lèi)與聚類(lèi)技術(shù)。爆炸式增長(zhǎng)的文本信息對(duì)文本內(nèi)容理解的精度與速度提出了新的標(biāo)準(zhǔn)與挑戰(zhàn),要求文本理解在提高精度的同時(shí),還要進(jìn)一步提升訓(xùn)練與

2、理解速度。
　　 本文挑選文本分類(lèi)中的3個(gè)困難與挑戰(zhàn)進(jìn)行了研究:數(shù)據(jù)集偏斜(數(shù)據(jù)集關(guān)于類(lèi)別的分布是偏斜的,即類(lèi)偏斜)、特征選擇、小樣本問(wèn)題(標(biāo)注瓶頸)。從提高分類(lèi)方法的快速性、準(zhǔn)確性出發(fā),提出多種有效的解決(改進(jìn))方法。同時(shí),對(duì)文本聚類(lèi)、分類(lèi)的一個(gè)重要應(yīng)用領(lǐng)域——話題識(shí)別與跟蹤,進(jìn)行了研究。本文的創(chuàng)新工作主要包括以下三點(diǎn):
　　 1、kNN文本分類(lèi)器中類(lèi)偏斜問(wèn)題的處理
　　 類(lèi)偏斜問(wèn)題是數(shù)據(jù)挖掘領(lǐng)域的常見(jiàn)問(wèn)題之一

3、。在文本分類(lèi)中得到廣泛應(yīng)用的kNN方法,當(dāng)訓(xùn)練樣本存在類(lèi)偏斜問(wèn)題時(shí),分類(lèi)性能明顯下降。將kNN分類(lèi)器用于某文本內(nèi)容安全項(xiàng)目,我們發(fā)現(xiàn),小類(lèi)別的待測(cè)樣本幾乎都錯(cuò)分到其它大類(lèi)中去了。針對(duì)kNN存在的這個(gè)問(wèn)題,提出了訓(xùn)練集的臨界點(diǎn)(CriticalPoint,CP)的概念,根據(jù)CP的下(上)近似值LA(UA)及訓(xùn)練樣本數(shù)對(duì)傳統(tǒng)的Knn決策函數(shù)進(jìn)行修改,這就是自適應(yīng)的加權(quán)kNN分類(lèi)。在偏斜文本數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明,LA、UA是較好的收縮因子。

4、自適應(yīng)的加權(quán)kNN文本分類(lèi)性能優(yōu)于傳統(tǒng)kNN方法及隨機(jī)重取樣方法。
　　 2、訓(xùn)練樣本的選擇
　　 訓(xùn)練樣本的選擇對(duì)分類(lèi)器的創(chuàng)建非常重要,非典型樣本不僅增加了分類(lèi)器的訓(xùn)練時(shí)間,而且容易給訓(xùn)練樣本集中引入一些“噪聲”。作為一種基于實(shí)例的方法,kNN分類(lèi)器有大量的計(jì)算及存儲(chǔ)需求。同時(shí),訓(xùn)練數(shù)據(jù)分布的不均衡,也會(huì)導(dǎo)致kNN分類(lèi)器的性能下降。針對(duì)這些缺陷,首先對(duì)MultiEdit與Condensing算法進(jìn)行了改進(jìn),然后提出了特

5、征選擇與Condensing技術(shù)相結(jié)合的取樣方法。該方法分為兩步:第一步,由幾種傳統(tǒng)的特征選擇方法產(chǎn)生訓(xùn)練集中每類(lèi)訓(xùn)練數(shù)據(jù)的特征;第二步,根據(jù)文檔自身的類(lèi)特征,結(jié)合Condensing策略移去多余的訓(xùn)練實(shí)例。大量實(shí)驗(yàn)表明,該方法明顯減小了訓(xùn)練集的數(shù)據(jù)量,從而降低了算法的時(shí)空消耗,改進(jìn)了分類(lèi)器的性能。
　　 3、半監(jiān)督的文本分類(lèi)
　　 傳統(tǒng)的分類(lèi)器僅使用有標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練,然而,有標(biāo)簽的實(shí)例通常因昂貴、耗時(shí)而難以獲得,從

6、而造成標(biāo)注瓶頸問(wèn)題。半監(jiān)督學(xué)習(xí)通過(guò)大量的無(wú)標(biāo)簽數(shù)據(jù)與有標(biāo)簽數(shù)據(jù)相結(jié)合來(lái)創(chuàng)建性能良好的分類(lèi)器,從而解決標(biāo)注瓶頸問(wèn)題。由于半監(jiān)督的學(xué)習(xí)需要較少的人工介入,而精確率又較高,因此無(wú)論在理論上還是實(shí)踐上都具有意義。本文在對(duì)已有的半監(jiān)督學(xué)習(xí)算法進(jìn)行研究的基礎(chǔ)上,針對(duì)有標(biāo)簽數(shù)據(jù)相當(dāng)少時(shí),無(wú)法使用統(tǒng)計(jì)方法進(jìn)行標(biāo)注置信度評(píng)價(jià)的情況,提出了基于kNN和SVM的二階段協(xié)同學(xué)習(xí),實(shí)驗(yàn)證實(shí)該方法是有效的。
　　 作為文本分類(lèi)、聚類(lèi)技術(shù)的應(yīng)用,我們對(duì)BBS

7、的話題識(shí)別與跟蹤進(jìn)行了研究。從文本挖掘的角度上來(lái)說(shuō),話題識(shí)別類(lèi)似于文本聚類(lèi);而話題跟蹤類(lèi)似于多類(lèi)文本分類(lèi)。話題識(shí)別與跟蹤,研究目標(biāo)是要實(shí)現(xiàn)按話題查找、組織和利用來(lái)自多種新聞媒體的多語(yǔ)言信息。這類(lèi)新技術(shù)是現(xiàn)實(shí)中急需的,比如:自動(dòng)監(jiān)控各種信息源(如廣播、電視等),并從中識(shí)別出各種突發(fā)事件、新事件以及關(guān)于已知事件的新信息,這可廣泛用于信息安全、證券市場(chǎng)分析等領(lǐng)域。另外,還可以找出有關(guān)用戶(hù)某一感興趣話題的所有報(bào)道,研究這一話題的發(fā)展歷程等等。在