基于兩步策略的文本分類方法實(shí)驗(yàn)研究.pdf

1、已知一種高性能的兩步文本分類方法，第一步使用某種分類器對(duì)可靠部分的文本進(jìn)行分類，第二步使用某種分類器對(duì)不可靠部分的文本再進(jìn)行分類，該方法能夠明顯地提高分類的效果。而兩步分類時(shí)第一步和第二步所用分類器的組合有多種方案，現(xiàn)有的研究并沒有回答采用哪種組合方案效果最好。本文在中文長文本，中文短文本，英文文本中分別使用三種經(jīng)典的分類器Rocchio、Bayes、KNN進(jìn)行了系統(tǒng)地實(shí)驗(yàn)研究，提出一種無須窮舉式對(duì)比而能夠較快確定第一步的分類器的方法，

2、通過實(shí)驗(yàn)驗(yàn)證得出該方法的正確性。并且將多類別的分類問題轉(zhuǎn)換為多個(gè)兩類分類問題進(jìn)行了兩步分類的實(shí)驗(yàn)研究。研究過程如下:
　　 (1)將Rocchio、Bayes、KNN三種分類器的類別判定公式在二維坐標(biāo)空間中進(jìn)行轉(zhuǎn)換。因?yàn)檫M(jìn)行兩步分類時(shí)，須將分類器轉(zhuǎn)換成為能夠在二維坐標(biāo)中明確表示文本所屬類別測度的形式。
　　 (2)通過實(shí)驗(yàn)，分別確定了中文長文本，中文短文本，英文長文本的特征選擇算法，并且分別確定了第一步特征空間大小和第二

3、步特征空間大小。
　　 (3)輸出Rocchio、Bayes、KNN三種分類器在二維空間的不可靠部分，驗(yàn)證Rocchio、Bayes、KNN三種分類器滿足在類別分割直線附近的較小區(qū)域內(nèi)出現(xiàn)較多的被錯(cuò)誤分類的文本。
　　 (4)以英文長文本為例，用窮舉的方式，實(shí)驗(yàn)對(duì)比了Rocchio、Bayes、KNN三種分類器共九種組合的兩步分類效果，得出最優(yōu)的組合，并且將最優(yōu)組合和現(xiàn)有的研究結(jié)果進(jìn)行比較，表明最優(yōu)組合的效果有所提高。<

4、br>　　 (5)研究和分析最優(yōu)組合當(dāng)中第一步所使用的分類器具有的特點(diǎn)，提出假設(shè):當(dāng)分類器輸出的所有類別錯(cuò)誤率之和與所有類別的區(qū)域率之和的比值最大時(shí)，應(yīng)該作為第一步分類器，且最優(yōu)組合存在于以其作為第一步分類器的時(shí)候。
　　 (6)分別在中文長文本，中文短文本中驗(yàn)證所提假設(shè)的正確性。首先由(3)所得到的實(shí)驗(yàn)數(shù)據(jù)求得Rocchio、Bayes、KNN三種分類器各自的錯(cuò)誤率之和與區(qū)域率之和的比值，得到該值最大的分類器，然后以其作為第