考慮動(dòng)態(tài)特征選擇的增量文本分類研究.pdf

1、在文本自動(dòng)分類領(lǐng)域，傳統(tǒng)的文本分類方法需要大量的已標(biāo)注文本，學(xué)習(xí)器通過對(duì)已標(biāo)注訓(xùn)練文本的學(xué)習(xí)以建立分類模型用于對(duì)未知文本進(jìn)行分類。但是人工獲得大量的已標(biāo)注訓(xùn)練文本的成本代價(jià)高，制約了整個(gè)分類系統(tǒng)的構(gòu)建，“標(biāo)注瓶頸”問題日益顯著。增量文本分類技術(shù)能夠在小規(guī)模初始已標(biāo)注樣本集信息不足的情況下，充分學(xué)習(xí)利用大量易得的未標(biāo)注訓(xùn)練樣本。而高維度的中文文本信息的處理對(duì)已有的特征選擇算法與分類器的有效契合提出了嚴(yán)峻挑戰(zhàn)，迫切需要能對(duì)特征選擇算法進(jìn)行高

2、效利用。在增量文本分類領(lǐng)域，特征選擇策略的研究顯得尤為重要。本文在動(dòng)態(tài)特征選擇策略與增量學(xué)習(xí)技術(shù)的結(jié)合方面開展了研究。
　　 目前的增量學(xué)習(xí)方法在進(jìn)行特征選擇時(shí)，一般沒有考慮不同內(nèi)容、不同數(shù)量的新增訓(xùn)練樣本所蘊(yùn)含的有用信息量對(duì)于提高分類器學(xué)習(xí)性能的貢獻(xiàn)大小的區(qū)別。面對(duì)大規(guī)模、高維度的待處理中文文本，本文提出了一種考慮動(dòng)態(tài)特征選擇的增量文本分類方法，并基于增量貝葉斯分類模型進(jìn)行了實(shí)驗(yàn)驗(yàn)證。這種基于如何高效利用新增未標(biāo)注訓(xùn)練集有用信

3、息的策略，其關(guān)鍵點(diǎn)在于并非每次增量學(xué)習(xí)后都進(jìn)行特征選擇，而是在每次增量學(xué)習(xí)后對(duì)是否值得進(jìn)行特征選擇作評(píng)估，以確定特征選擇的“時(shí)機(jī)”。
　　 本文使用兩種評(píng)估新增文本信息的方法以支持動(dòng)態(tài)特征選擇策略。一種方法首先將增量學(xué)習(xí)過程中的特征集分為三部分：每次特征選擇后產(chǎn)生的實(shí)際用于構(gòu)造分類器的有效特征空間部分和可能用于構(gòu)造分類器的候選特征空間部分；相鄰兩次特征選擇間的新增特征集部分。以特征選擇的計(jì)算代價(jià)為出發(fā)點(diǎn)，通過計(jì)算相鄰兩次特征選擇

4、間不同特征集的累積信息熵值變化量決定當(dāng)次增量學(xué)習(xí)是否進(jìn)行特征選擇。當(dāng)信息改變量達(dá)到適當(dāng)閾值要求時(shí)，認(rèn)為“值得”進(jìn)行一次特征選擇，并重新構(gòu)造分類器；否則，每次迭代后只修改三個(gè)特征集中統(tǒng)計(jì)參數(shù)。此外，另一種方法基于動(dòng)態(tài)特征選擇策略原理，用最優(yōu)文本數(shù)作為判斷依據(jù)，認(rèn)為當(dāng)兩次特征選擇間進(jìn)行若干次增量學(xué)習(xí)后執(zhí)行一次特征選擇是可接受的。文章最后分別對(duì)基于動(dòng)態(tài)特征選擇策略的兩種判斷準(zhǔn)則進(jìn)行了仿真實(shí)驗(yàn)，驗(yàn)證了本文方法在保證原有分類精度的前提下提高了分類