文本分類技術(shù)與應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)上充斥著各種信息,其中有一些信息,如恐怖組織等通過互聯(lián)網(wǎng)散布的消息,直接影響著國家安全與穩(wěn)定。傳統(tǒng)的按IP地址、主題進行信息攔截的方法已不再適合當(dāng)前的需要,目前主要是對內(nèi)容進行監(jiān)控。
　　 鑒于Internet上的大部分信息都以文本的形式存在,以上技術(shù)大都依賴于文本內(nèi)容的理解,核心技術(shù)是文本分類與聚類技術(shù)。爆炸式增長的文本信息對文本內(nèi)容理解的精度與速度提出了新的標(biāo)準(zhǔn)與挑戰(zhàn),要求文本理解在提高精度的同時,還要進一步提升訓(xùn)練與

2、理解速度。
　　 本文挑選文本分類中的3個困難與挑戰(zhàn)進行了研究:數(shù)據(jù)集偏斜(數(shù)據(jù)集關(guān)于類別的分布是偏斜的,即類偏斜)、特征選擇、小樣本問題(標(biāo)注瓶頸)。從提高分類方法的快速性、準(zhǔn)確性出發(fā),提出多種有效的解決(改進)方法。同時,對文本聚類、分類的一個重要應(yīng)用領(lǐng)域——話題識別與跟蹤,進行了研究。本文的創(chuàng)新工作主要包括以下三點:
　　 1、kNN文本分類器中類偏斜問題的處理
　　 類偏斜問題是數(shù)據(jù)挖掘領(lǐng)域的常見問題之一

3、。在文本分類中得到廣泛應(yīng)用的kNN方法,當(dāng)訓(xùn)練樣本存在類偏斜問題時,分類性能明顯下降。將kNN分類器用于某文本內(nèi)容安全項目,我們發(fā)現(xiàn),小類別的待測樣本幾乎都錯分到其它大類中去了。針對kNN存在的這個問題,提出了訓(xùn)練集的臨界點(CriticalPoint,CP)的概念,根據(jù)CP的下(上)近似值LA(UA)及訓(xùn)練樣本數(shù)對傳統(tǒng)的Knn決策函數(shù)進行修改,這就是自適應(yīng)的加權(quán)kNN分類。在偏斜文本數(shù)據(jù)集上進行的實驗表明,LA、UA是較好的收縮因子。

4、自適應(yīng)的加權(quán)kNN文本分類性能優(yōu)于傳統(tǒng)kNN方法及隨機重取樣方法。
　　 2、訓(xùn)練樣本的選擇
　　 訓(xùn)練樣本的選擇對分類器的創(chuàng)建非常重要,非典型樣本不僅增加了分類器的訓(xùn)練時間,而且容易給訓(xùn)練樣本集中引入一些“噪聲”。作為一種基于實例的方法,kNN分類器有大量的計算及存儲需求。同時,訓(xùn)練數(shù)據(jù)分布的不均衡,也會導(dǎo)致kNN分類器的性能下降。針對這些缺陷,首先對MultiEdit與Condensing算法進行了改進,然后提出了特

5、征選擇與Condensing技術(shù)相結(jié)合的取樣方法。該方法分為兩步:第一步,由幾種傳統(tǒng)的特征選擇方法產(chǎn)生訓(xùn)練集中每類訓(xùn)練數(shù)據(jù)的特征;第二步,根據(jù)文檔自身的類特征,結(jié)合Condensing策略移去多余的訓(xùn)練實例。大量實驗表明,該方法明顯減小了訓(xùn)練集的數(shù)據(jù)量,從而降低了算法的時空消耗,改進了分類器的性能。
　　 3、半監(jiān)督的文本分類
　　 傳統(tǒng)的分類器僅使用有標(biāo)簽的數(shù)據(jù)進行訓(xùn)練,然而,有標(biāo)簽的實例通常因昂貴、耗時而難以獲得,從

6、而造成標(biāo)注瓶頸問題。半監(jiān)督學(xué)習(xí)通過大量的無標(biāo)簽數(shù)據(jù)與有標(biāo)簽數(shù)據(jù)相結(jié)合來創(chuàng)建性能良好的分類器,從而解決標(biāo)注瓶頸問題。由于半監(jiān)督的學(xué)習(xí)需要較少的人工介入,而精確率又較高,因此無論在理論上還是實踐上都具有意義。本文在對已有的半監(jiān)督學(xué)習(xí)算法進行研究的基礎(chǔ)上,針對有標(biāo)簽數(shù)據(jù)相當(dāng)少時,無法使用統(tǒng)計方法進行標(biāo)注置信度評價的情況,提出了基于kNN和SVM的二階段協(xié)同學(xué)習(xí),實驗證實該方法是有效的。
　　 作為文本分類、聚類技術(shù)的應(yīng)用,我們對BBS

7、的話題識別與跟蹤進行了研究。從文本挖掘的角度上來說,話題識別類似于文本聚類;而話題跟蹤類似于多類文本分類。話題識別與跟蹤,研究目標(biāo)是要實現(xiàn)按話題查找、組織和利用來自多種新聞媒體的多語言信息。這類新技術(shù)是現(xiàn)實中急需的,比如:自動監(jiān)控各種信息源(如廣播、電視等),并從中識別出各種突發(fā)事件、新事件以及關(guān)于已知事件的新信息,這可廣泛用于信息安全、證券市場分析等領(lǐng)域。另外,還可以找出有關(guān)用戶某一感興趣話題的所有報道,研究這一話題的發(fā)展歷程等等。在