文本分類方法及應(yīng)用研究.pdf

1、Internet為人們提供了極其豐富的信息資源，在這些海量、異構(gòu)的Web信息資源中蘊(yùn)含著具有巨大潛在價(jià)值的知識。但是，面對信息的汪洋大海，人們往往感到無所適從，出現(xiàn)了所謂的“信息過載”和“信息迷向”的現(xiàn)象。對信息進(jìn)行自動分類可以在較大程度上解決網(wǎng)上信息異構(gòu)、雜亂的現(xiàn)象，從而縮減搜索空間，加快檢索速度，提高查詢精度。針對目前文本分類方法存在的問題，本文提出了基于本體的語義分類方法以及基于Fisher判別式的層次分類改進(jìn)方法，并且將層次分類

2、技術(shù)應(yīng)用到對等網(wǎng)絡(luò)中，設(shè)計(jì)出一種新的文件共享系統(tǒng)。主要工作如下： 1)提出了一種基于本體的文本語義分類方法，擴(kuò)展了傳統(tǒng)的基于統(tǒng)計(jì)的貝葉斯分類策略。我們提出的OntoNaiveClassifier分類算法通過考慮概念對本體的支持度Pco和單詞對概念的支持度Pwc，可以實(shí)現(xiàn)對文檔按照本體分類的目的。OntoNaiveClassifier算法不僅僅考慮統(tǒng)計(jì)結(jié)果，而且包含了本體和WordNet提供的領(lǐng)域背景知識。通過試驗(yàn)結(jié)果，我們發(fā)現(xiàn)即

3、使在小訓(xùn)練樣本的情況下，OntoNaiveClassifier仍然能夠保持較高的準(zhǔn)確性。 2)提出了一種基于Fisher判別式的改進(jìn)型層次文檔分類方法。該算法利用Fisher判別式來提取每個(gè)類的特征詞，特征詞既不需要假設(shè)條件也不會因?yàn)閷哟蔚脑黾佣В姨卣髟~的維數(shù)顯著減少，降低了計(jì)算復(fù)雜度。更重要的是，我們提出的改進(jìn)型方法強(qiáng)調(diào)層次分類的全局性，對處于分類樹上較高層次的類別，不再僅僅著眼于目標(biāo)文檔與單個(gè)類別的關(guān)系，而是考慮目標(biāo)

4、文檔與以這些類別為根的子樹的關(guān)系，從而提高了層次分類的正確率。實(shí)驗(yàn)結(jié)果表明，我們提出的改進(jìn)算法在精確率和召回率方面明顯優(yōu)于其它的層次分類算法。 3)利用層次分類方法管理和組織P2P系統(tǒng)的共享文件信息，設(shè)計(jì)出一種新的信息網(wǎng)絡(luò)構(gòu)架CTB-Chord。總的策略是利用Chord系統(tǒng)定位高效的優(yōu)勢，引入文本層次分類方法，將分類樹作為系統(tǒng)的中心數(shù)據(jù)結(jié)構(gòu)，形成一個(gè)新的信息網(wǎng)絡(luò)框架。用戶的信息發(fā)布、更新以及獲取不再基于關(guān)鍵字而是依賴于其類別屬性