文本分類中基于k-means的特征選擇算法研究.pdf

1、21世紀(jì)以來信息技術(shù)的迅速發(fā)展，使互聯(lián)網(wǎng)逐漸地成為一個(gè)巨大的信息體。面對(duì)海量的數(shù)據(jù)，我們?nèi)绾螌?duì)這些數(shù)據(jù)進(jìn)行管理與組織，并且高速準(zhǔn)確的從中找出有價(jià)值的內(nèi)容成為現(xiàn)在信息科學(xué)技術(shù)領(lǐng)域的一大難題，文本分類技術(shù)是解決這些難題的主要技術(shù)之一，存在很大實(shí)用價(jià)值，得到廣泛專注。它的實(shí)現(xiàn)包括了多種技術(shù)，特征選擇是文本分類中一個(gè)重點(diǎn)技術(shù)，它對(duì)于提高運(yùn)算速度，減少運(yùn)算復(fù)雜性和提升分類效率有重要意義，本文主要對(duì)文本分類中的特征選擇算法進(jìn)行研究。
　　特征

2、選擇算法主要分為過濾型方法(Filter)和包裝型(Wrapper)方法兩類。Filter方法通用性強(qiáng)，運(yùn)行時(shí)間復(fù)雜度低，但由于獨(dú)立于分類學(xué)習(xí)算法，準(zhǔn)確率低。Wrapper方法分類準(zhǔn)確率高，但計(jì)算代價(jià)較大，通用性差。常常將兩者結(jié)合使用，優(yōu)劣勢相互補(bǔ)。常用IG，MI，ECE和CHI這幾種Filter型方法進(jìn)行特征選擇，再結(jié)合 Wrapper方法對(duì)其進(jìn)行驗(yàn)證。這些方法都是先構(gòu)造一個(gè)評(píng)估函數(shù)，用其對(duì)原始特征集合中每一個(gè)特征進(jìn)行計(jì)算，并對(duì)權(quán)值的

3、大小進(jìn)行排序，選取前n個(gè)權(quán)值大的特征。在中文文本分類中，特征空間的維數(shù)遠(yuǎn)大于英文文本的特征空間，所以大規(guī)模的統(tǒng)計(jì)計(jì)算將會(huì)花費(fèi)巨大的計(jì)算成本。
　　本文提出一種新的特征選擇算法，該方法不需要構(gòu)造評(píng)估函數(shù)，利用k-means聚類的原理來進(jìn)行特征選擇，大大降低特征選擇時(shí)間。采用根據(jù)最大最小原則改進(jìn)的k-means算法，解決初始化樣本的隨機(jī)選擇問題，再結(jié)合Wrapper方法用分類器性能對(duì)選擇的特征子集進(jìn)行評(píng)價(jià)。在實(shí)驗(yàn)中研究討論 k-mea

4、ns方法中兩種距離的計(jì)算方法，即歐氏距離和余弦距離計(jì)算文本相似度對(duì)算法的影響，結(jié)果表明用 k-means算法原理進(jìn)行特征選擇時(shí)余弦距離更適合應(yīng)用于文本相似度的計(jì)算。同時(shí)研究討論不同語料庫上k-means特征選擇方法中簇心k的取值和每個(gè)簇心中選擇的特征數(shù)v的的最佳取值，由于中英文語言的差異性，k與v的最佳取值與所選取的語料庫的種類和規(guī)模有很大關(guān)系。
　　進(jìn)一步在文本分類實(shí)驗(yàn)中研究新方法和IG，MI，ECE這幾種常用特征選擇方法與文檔