面向小樣本的文本分類模型及算法研究.pdf

1、文本數(shù)據(jù)具有高維稀疏的特征，并且數(shù)據(jù)量也在爆發(fā)式增長，這給傳統(tǒng)的機(jī)器學(xué)習(xí)算法帶來了許多困難，具體表現(xiàn)在以下兩方面：其一，對于分類精度較高的分類算法，如支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)等，大多都因?yàn)橛?xùn)練效率、計(jì)算資源消耗等瓶頸而無法成功應(yīng)用于海量數(shù)據(jù)挖掘和在線分類問題；其二，對于具有線性時(shí)間復(fù)雜度的分類算法，如質(zhì)心分類器，樸素貝葉斯和邏輯回歸等，其分類精度往往較低。因此，本文針對以上問題展開了一系列研究，研究內(nèi)容主要包括小樣本數(shù)據(jù)集的提取方法和小

2、樣本數(shù)據(jù)集的分類方法。本文中所指的“小樣本”是維度小、數(shù)量小的樣本。首先，本文研究的小樣本提取方法主要包括特征選擇方法和實(shí)例選擇方法，以上方法可以精簡海量數(shù)據(jù)集，從而有效解決以上第一類問題；其次，本文研究了面向小樣本的線性分類模型，試圖從小樣本數(shù)據(jù)集上學(xué)習(xí)高精度的分類器，從而有效解決以上第二類問題。本文的主要研究內(nèi)容和創(chuàng)新點(diǎn)如下：
　　提出了一種新的統(tǒng)計(jì)指標(biāo)（LW-index）的方法來評價(jià)特征子集，進(jìn)而評估降維算法。本文所提出的方

3、法是一種“經(jīng)典統(tǒng)計(jì)”的方法，基于特征子集計(jì)算經(jīng)驗(yàn)估計(jì)來評價(jià)特征子集的質(zhì)量。傳統(tǒng)的特征子集評估是指將給定的特征子集分解為訓(xùn)練集和測試集，訓(xùn)練集用于估計(jì)分類模型的參數(shù)，而測試集用于估計(jì)模型預(yù)測的性能。然后，平均多個(gè)預(yù)測的結(jié)果，即交叉驗(yàn)證（Cross-Validation，CV）。然而，交叉驗(yàn)證評估往往是的是非常耗時(shí)的，需要很大的計(jì)算開銷。實(shí)驗(yàn)結(jié)果表明本文提出的方法在降維算法評價(jià)結(jié)果上基本與五折疊交叉驗(yàn)證方法一致，但計(jì)算時(shí)間開銷分別是采用SV

4、M（Support Vector Machine）和CBC（Centroid-Based Classifier）分類器的1/10和1/2倍。
　　提出了一種基于序列前向搜索（Sequential Forward Search，SFS）策略的特征選擇算法SFS-LW。文本分類中的封裝式特征選擇算法（Wapper）篩選出的特征對于分類有較高的價(jià)值，但是其評價(jià)過程伴隨著極大的時(shí)間復(fù)雜度。為此，本文將封裝式特征選擇算法中常用的前向序列搜索

5、策略（SFS）與LW指標(biāo)相結(jié)合，提出了一種新的過濾式算法SFS-LW。實(shí)驗(yàn)結(jié)果表明SFS-LW具有與Wapper方法近似的分類精度，但時(shí)間復(fù)雜度則有數(shù)倍的改善，其時(shí)間消耗接近于現(xiàn)有的過濾式方法。
　　提出了一種線性的自適應(yīng)支持向量選擇算法（Shell Extraction，SE）。針對傳統(tǒng)分類算法無法應(yīng)用于海量數(shù)據(jù)集的問題，本文基于向量空間中樣本分布密度不均衡的特點(diǎn)，研究了向量空間中支持向量的識別方法，從而實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)集縮減和

6、噪聲過濾。傳統(tǒng)的實(shí)例選擇算法大多基于最近鄰或聚類的方法，由于此類方法時(shí)間復(fù)雜度高，同樣面臨無法應(yīng)用于海量數(shù)據(jù)集的問題。實(shí)驗(yàn)結(jié)果表明本文提出的SE算法不僅在精度上超過了現(xiàn)有算法，并且其執(zhí)行效率遠(yuǎn)高于現(xiàn)有的實(shí)例選擇算法。
　　提出了一種新的分類模型，即引力模型（Gravitation Model，GM）。文本分類中基于質(zhì)心的分類算法憑借其簡單高效，已成為應(yīng)用最廣泛的文本分類算法之一。然而，質(zhì)心分類算法的精確度過于依賴訓(xùn)練樣本的分布，當(dāng)

7、樣本分布偏斜時(shí)，質(zhì)心分類模型不能很好地?cái)M合訓(xùn)練樣本數(shù)據(jù)，因而分類效果不理想。本文提出的GM模型可以有效解決質(zhì)心分類模型欠擬合問題，在模型訓(xùn)練階段，GM為每一個(gè)類別定義一個(gè)表征該類樣本分布的質(zhì)量因子，該因子可從訓(xùn)練樣本中學(xué)習(xí)得到；在模型測試階段，GM將未知樣本劃分到對其最大引力的特定類別中。
　　提出了一種基于算術(shù)平均質(zhì)心（Arithmetical Average Centroid，AAC）與隨機(jī)質(zhì)量因子學(xué)習(xí)算法（Stochasti

8、c Learning Mass，SLA）相結(jié)合的GM模型學(xué)習(xí)算法AAC-SLA。實(shí)驗(yàn)結(jié)果表明AAC-SLA算法在精度上持續(xù)優(yōu)于原質(zhì)心分類算法，而且達(dá)到了與目前最好的質(zhì)心分類器類似的性能，同時(shí)具有比它更穩(wěn)定的優(yōu)勢。
　　提出了基于最小球算法（Minimum Enclosing Ball，MEB）與隨機(jī)質(zhì)量因子學(xué)習(xí)算法（SLA）相結(jié)合的GM模型學(xué)習(xí)算法MEB-SLA。MEB算法可以有效避免類別中樣本隨機(jī)分布給算術(shù)平均質(zhì)心位置帶來的影響

9、，實(shí)驗(yàn)結(jié)果表明MEB-SLA算法要優(yōu)于AAC-SLA算法，并且在小樣本數(shù)據(jù)集上它們都超過了向量機(jī)。
　　最后，本文利用提出的SFS-LW算法和SE算法生成了特征維數(shù)和樣本數(shù)量同時(shí)為原數(shù)據(jù)集1/10倍的小樣本數(shù)據(jù)集，并采用小樣本數(shù)據(jù)集訓(xùn)練AAC-SLA、MEB-SLA和SVM算法，實(shí)驗(yàn)表明AAC-SLA算法和MEB-SLA算法的學(xué)習(xí)/分類精度在大部分?jǐn)?shù)據(jù)集上只有輕微下降，并持續(xù)超過了SVM算法。
　　本文的研究結(jié)論是：（1）在