基于鄰居輔助策略的兩階段層次文本分類模型研究.pdf

1、傳統(tǒng)的文本分類方法在類別數(shù)目較少時取得了很好的分類效果。然而，隨著類別數(shù)目越來越大，如 LookSmart、ODP等都有成千上萬的類別，如果還利用扁平化方式組織這些類別，那么為一個文檔正確的指定其目標類別的難度就變得非常大。所以，實際應用中通常將這些類別組織成層次結(jié)構(gòu)?；趯哟谓Y(jié)構(gòu)，學者們引入了層次文本分類方法。比較常用的層次文本分類方法有 Big-bang分類方法和 Top-down分類方法。由于 Big-bang分類方法的時間開銷和

2、空間開銷較大以及Top-down分類方法“阻滯”現(xiàn)象的不可避免性，傳統(tǒng)的層次文本分類方法并不能很好的應用到大規(guī)模層次文本分類中。
　　而新近提出的兩階段層次文本分類模型（THTC模型）是一種解決大規(guī)模層次文本分類問題的有效方法。相對于傳統(tǒng)層次文本分類方法，THTC模型在分類性能和時間效率上都有了顯著提高，但是該模型在分類過程中仍然存在很多不足。因此，本文在 THTC模型的基礎上提出了基于鄰居輔助策略的兩階段層次文本分類模型（THT

3、C-NA模型）。
　　本文的主要工作包括以下三個方面：
　?、傧到y(tǒng)的研究了層次文本分類中的方法和應用，并在THTC模型的基礎上提出了THTC-NA模型。THTC-NA模型包含搜索和分類兩個階段，搜索階段通過引入基于類別的搜索策略進行候選搜索，對原類別層次結(jié)構(gòu)進行虛擬剪枝，以減小數(shù)據(jù)規(guī)模。并采用Top-down方法將候選類別組織成層次結(jié)構(gòu)，這樣可以保持該層次結(jié)構(gòu)在原類別層次結(jié)構(gòu)中的位置不變，從而可以不用對每一個待分類文檔都訓練

4、一個特殊的分類器。
　?、诜诸愲A段利用類別層次結(jié)構(gòu)中各個節(jié)點的鄰居節(jié)點的分類結(jié)果輔助對該節(jié)點的分類判決，并針對鄰居節(jié)點可靠性未知的問題引入了置信度。同時，以層次路徑做全局搜索，避免了由于單一節(jié)點誤判可能導致局部最優(yōu)陷阱。在數(shù)據(jù)集Newsgroups-18828上的實驗表明，鄰居節(jié)點的分類結(jié)果對指定待分類文檔的目標類別有很好的輔助作用。
　?、坩槍HTC模型未能充分利用搜索階段的信息的問題，THTC-NA模型提出一種新的分類