基于Boosting思想的文本特征選擇研究.pdf

1、文本分類是處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)。在文本分類中,特征空間的維數(shù)高達(dá)幾萬,導(dǎo)致樣本統(tǒng)計特性的評估變得十分困難,甚至?xí)档头诸惸Ｐ偷姆夯芰?出現(xiàn)“過學(xué)習(xí)”的現(xiàn)象。因此,有效的維數(shù)約減可以提高分類任務(wù)的效率和分類性能。 本文關(guān)注的是特征選擇問題,研究如何運用Boosting思想更好的實現(xiàn)文本分類中的特征選擇。由于Boosting思想從提出到理論研究以及眾多的實驗都是針對分類問題的,并不能直接用于本文。本文提出在Boosti

2、ng算法的框架下,不斷的改變樣本分布,選擇在一次迭代中最具有類別區(qū)分能力的特征進(jìn)入特征子集。本文在Boosting特征選擇方法的研究中遇到兩個關(guān)鍵問題:Boosting的循環(huán)終止條件和特征數(shù)量問題。對于前者,本文給出了三種方案：限定循環(huán)次數(shù)、訓(xùn)練錯誤不變、特征子集不變；通過實驗對三種方案進(jìn)行比較并得出結(jié)論。對于后者,研究特征選擇時理論上可能出現(xiàn)的兩種極端現(xiàn)象：所有特征都被選擇,或者很少的幾個特征被重復(fù)選擇；實驗表明這兩種極端現(xiàn)象都沒有出

3、現(xiàn)。 特征選擇目前沒有一種較為獨立的評價體系,往往直接跳步至分類的評價,本文通過引入更多分析加以彌補。Boosting的訓(xùn)練錯誤分析和泛化錯誤分析增強了Boosting理論上的支持。本文從兩個方面分析比較特征選擇方法,一方面比較過程,另一方面比較特征選擇結(jié)果。從過程上,可以對比不同方法的目標(biāo)函數(shù)、參數(shù)、限制等問題。從結(jié)果上,通過分析排名靠前的特征發(fā)現(xiàn),Boosting方法選的特征覆蓋大部分類別,而其他方法則只覆蓋少數(shù)幾個類別。