web文本分類中特征向量優(yōu)化技術研究.pdf

1、隨著Internet的迅猛發(fā)展和日益普及,電子文本信息迅速膨脹,如何有效地組織和管理這些信息,并快速、準確、全面地從中找到用戶所需要的信息是當前信息科學技術領域面臨的一大挑戰(zhàn).文本分類作為處理和組織大量文本數(shù)據(jù)的關鍵技術,可以在較大程度上解決信息雜亂現(xiàn)象,方便用戶準確地定位所需的信息.而且作為信息過濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫、數(shù)字化圖書館等領域的技術基礎,文本分類有著廣泛的應用前景. 要進行web文本分類,首先要做的就是對

2、web文本數(shù)據(jù)進行數(shù)學描述,其中最常用的模型就是向量空間模型和潛在語義索引模型等.在向量空間模型中,每一個不同的單詞都作為特征空間中的一維,每一個文本就是特征空間中的一個向量.潛在語義索引模型在最初對文本的描述上也與之類似.但是,這種描述方法引發(fā)了一個非常嚴重的問題,那就是高維稀疏,加之文本數(shù)據(jù)所特有的近義詞、多義詞等等問題,使得文本分類具有相當高的時間復雜度,而且這些問題也極大地干擾了分類算法的準確性,使得文本分類的性能急劇下降.因此

3、,迫切需要通過其它技術優(yōu)化文本向量表示以幫助提高文本分類的性能. 文本向量的優(yōu)化技術總的來說分為兩類,首先是權重調(diào)整方法.權重調(diào)整方法是通過綜合考慮一個單詞相對于一個文本、一個數(shù)據(jù)集或者一個類的重要性來調(diào)整其在不同文本中的權重,使其值盡可能正確地反映一個單詞與一個文本在語義上的關系.另一類優(yōu)化技術是降維,它指的是通過降低特征空間的維度優(yōu)化文本的表示.主要包括特征選擇和特征抽取兩種技術. 本文從向量優(yōu)化技術入手,將研究點分為了

4、兩大塊:特征選擇及其權重計算方案,特征抽取及其權重計算方案,所做的主要工作如下: 在特征選擇的研究上,針對目前很少有關于冗余特征研究的現(xiàn)狀,分析和論證了在特征選擇過程中消除冗余特征的重要性,提出了在特征選擇過程中消除冗余特征的途徑-特征之間的關聯(lián)性分析.該方法以信息論量度為基本工具,綜合考慮了計算代價以及特征評估的客觀性等問題,形成了一種基于關聯(lián)分析的特征選擇算法,算法在保留類別相關特征的同時識別并摒棄了冗余特征,取得了較好的約簡

5、效果;在針對特征選擇的權重計算方面,首先對傳統(tǒng)的權重計算方案進行了分析,在指出其不足的基礎上提出了改進方案:(1) 對特征的類別區(qū)分能力予以了著重加強,在傳統(tǒng)的權重公式中擴展了一項單詞的類區(qū)分能力:w<,id>=local(t,d)<'*> global(t)<'*>classDisc(t) (2) 對 web 文檔信息特征進行分析,并且提出了web 文檔中主特征詞、主特征域和主特征空間的概念.分析論證了在主特征空間上應當使用文檔頻度D

6、F(document frequency)信息而非傳統(tǒng)意義上的IDFI(inverse document frequency)信息進行權值計算,以更加精確地描述web文本. 在特征抽取的研究上,提出了針對局部LSI的權重計算方案.本文研究了典型的潛在語義索引技術(LSI)在文本分類上的兩種應用方式:全局LSI和局部LSI.全局LSI完全無視訓練數(shù)據(jù)中已知的類信息,所以全局LSI不但不會提高反而還會降低文本分類的性能.相比于全局LS

7、I,局部LSI不是在整個訓練數(shù)據(jù)上執(zhí)行LSI,而是在每一個類的局部區(qū)域上分別執(zhí)行奇異值分解從而為每一個類都創(chuàng)建了一個局部語義空間,然后每一個新的文本都分別被映射到每一個局部語義空間中進行分類.局部LSI通過利用已知的類信息很好地抽取出了區(qū)分一個類和其他類的語義結構,所以較之全局LSI有了一定的進步;但是通過對局部LSI的權重計算方案的分析我們發(fā)現(xiàn),其權重計算方法只是簡單繼承向量空間模型,雖然潛在語義索引與向量空間模型在描述文本上有一定的

8、相似性,但其基本思想有本質(zhì)的不同:VSM本質(zhì)上將詞語看作空間的維度,將文檔根據(jù)其所包含的詞語看作是該空間中的一個點:LSI中不再將詞語看作是單獨的維度,潛在語義空間中的維度被認為是對應著各個"潛概念",詞語向量被看作是它們在各個"潛概念"上的投影,文檔向量是其所包含的詞語向量之和.為此本文提出了一種新的基于加權平滑的局部LSI方法,這個方法通過在語義信息表達更清晰的局部區(qū)域上執(zhí)行奇異值分解從而抽取出了更具類區(qū)分力的局部語義結構.