層次文本分類中阻塞減少策略的研究.pdf

1、電子信息的增長使得人們無法快速地找到自己真正感興趣的內(nèi)容。為了更好的組織和管理信息，研究者們引入了文本分類、特別是層次型文本分類技術(shù)。相對于層次型文本分類中的爆發(fā)式，自頂而下式層次分類能夠更好的利用層次結(jié)構(gòu)所提供的信息，然而此種層次分類法也存在“阻塞”這一缺點：如果一個文本在某個正確的祖先類別上被拒絕，則其永遠不可能被分到正確的葉類別上。 由于阻塞會導(dǎo)致層次分類系統(tǒng)分類精度的降低，故阻塞減少策略在近年來得到了廣泛的關(guān)注和研究。本

2、文在前人工作的基礎(chǔ)上，著重對閾值降低類的阻塞減少策略進行了研究。 本文首先對文本分類和層次文本分類的基本概念和知識進行了歸納；分析了阻塞對層次分類精度的影響；依據(jù)現(xiàn)有阻塞減少策略特點將其分為閾值降低類、累乘類和分類器組織類三種類型，并分析比較了三類方法各自的優(yōu)缺點；討論了閾值降低法的同平面型分類中SCut策略的區(qū)別與聯(lián)系。 在此基礎(chǔ)上，本文從改變閾值降低法中使用的閾值策略，改用其它可調(diào)參數(shù)備選值較少的閾值策略出發(fā)，提出了

3、基于柱狀搜索的阻塞減少策略，實驗表明本方法在減少阻塞、增大葉類別查全率的同時，仍然能夠保持較高的查準率，而且整個系統(tǒng)的F<'M><,1>測度也比較高；考慮到其它分類器閾值確定后分類器C<,1>的閾值變化只影響其工作域類別分類效果的性質(zhì)，提出了基于預(yù)測的阻塞減少策略，實驗表明本方法能夠減少阻塞、增大葉類別查全率，提高整個系統(tǒng)的F<'M><,1>測度，但同時查準率有少許下降；最后在借鑒平面型分類PCut策略的基礎(chǔ)上，通過利用線性分類器輸出得

4、分分布的特點，提出了基于概率密度估計的阻塞減少策略，實驗表明本方法雖能夠很好的減少阻塞、增大葉類別查全率，但由于查準率過低導(dǎo)致整個系統(tǒng)F<'M><,1>測度的下降。 在對三種策略進行詳細說明的基礎(chǔ)上，我們使用Reuters21578文本集對標準層次分類法和閾值降低類方法進行了對比實驗，并結(jié)合實驗數(shù)據(jù)對基于概率密度估計的阻塞減少策略的效果進行了探討和分析。最后我們使用s-test標準衡量了各種方法對標準層次分類法的改良程度，結(jié)果表