基于鄰居輔助策略的兩階段層次文本分類模型研究.pdf

1、傳統(tǒng)的文本分類方法在類別數(shù)目較少時(shí)取得了很好的分類效果。然而，隨著類別數(shù)目越來越大，如 LookSmart、ODP等都有成千上萬的類別，如果還利用扁平化方式組織這些類別，那么為一個(gè)文檔正確的指定其目標(biāo)類別的難度就變得非常大。所以，實(shí)際應(yīng)用中通常將這些類別組織成層次結(jié)構(gòu)?；趯哟谓Y(jié)構(gòu)，學(xué)者們引入了層次文本分類方法。比較常用的層次文本分類方法有 Big-bang分類方法和 Top-down分類方法。由于 Big-bang分類方法的時(shí)間開銷和

2、空間開銷較大以及Top-down分類方法“阻滯”現(xiàn)象的不可避免性，傳統(tǒng)的層次文本分類方法并不能很好的應(yīng)用到大規(guī)模層次文本分類中。
　　而新近提出的兩階段層次文本分類模型（THTC模型）是一種解決大規(guī)模層次文本分類問題的有效方法。相對(duì)于傳統(tǒng)層次文本分類方法，THTC模型在分類性能和時(shí)間效率上都有了顯著提高，但是該模型在分類過程中仍然存在很多不足。因此，本文在 THTC模型的基礎(chǔ)上提出了基于鄰居輔助策略的兩階段層次文本分類模型（THT

3、C-NA模型）。
　　本文的主要工作包括以下三個(gè)方面：
　　①系統(tǒng)的研究了層次文本分類中的方法和應(yīng)用，并在THTC模型的基礎(chǔ)上提出了THTC-NA模型。THTC-NA模型包含搜索和分類兩個(gè)階段，搜索階段通過引入基于類別的搜索策略進(jìn)行候選搜索，對(duì)原類別層次結(jié)構(gòu)進(jìn)行虛擬剪枝，以減小數(shù)據(jù)規(guī)模。并采用Top-down方法將候選類別組織成層次結(jié)構(gòu)，這樣可以保持該層次結(jié)構(gòu)在原類別層次結(jié)構(gòu)中的位置不變，從而可以不用對(duì)每一個(gè)待分類文檔都訓(xùn)練

4、一個(gè)特殊的分類器。
　?、诜诸愲A段利用類別層次結(jié)構(gòu)中各個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)的分類結(jié)果輔助對(duì)該節(jié)點(diǎn)的分類判決，并針對(duì)鄰居節(jié)點(diǎn)可靠性未知的問題引入了置信度。同時(shí)，以層次路徑做全局搜索，避免了由于單一節(jié)點(diǎn)誤判可能導(dǎo)致局部最優(yōu)陷阱。在數(shù)據(jù)集Newsgroups-18828上的實(shí)驗(yàn)表明，鄰居節(jié)點(diǎn)的分類結(jié)果對(duì)指定待分類文檔的目標(biāo)類別有很好的輔助作用。
　　③針對(duì)THTC模型未能充分利用搜索階段的信息的問題，THTC-NA模型提出一種新的分類