一種基于eEPs的中文文本自動(dòng)分類算法.pdf

1、為了能夠有效地組織和分析海量的Web信息資源，幫助用戶迅速地獲取所需要的知識和信息，人們希望能夠按照內(nèi)容實(shí)現(xiàn)對網(wǎng)頁的自動(dòng)分類。Web的迅猛發(fā)展為文本自動(dòng)分類技術(shù)提供了一個(gè)前所未有的實(shí)驗(yàn)環(huán)境和應(yīng)用平臺，同時(shí)也帶來了新的挑戰(zhàn)。而作為Web網(wǎng)頁自動(dòng)分類技術(shù)基礎(chǔ)的文本自動(dòng)分類技術(shù)也迅速地發(fā)展起來。 基于文檔頻率的特征提取方法計(jì)算復(fù)雜度低，而且提取出的特征的分類效果也和卡方檢驗(yàn)以及信息增益等方法相當(dāng)，比較適合于大規(guī)模的文本分類任務(wù)。但是通

2、過分析我們發(fā)現(xiàn)，由于僅僅使用文檔頻率來衡量特征的區(qū)分能力，文檔頻率方法存在兩個(gè)問題。 顯露模式是那些從一個(gè)數(shù)據(jù)集到另一個(gè)數(shù)據(jù)集支持度發(fā)生顯著變化的項(xiàng)集，它們對分類是有用的，這是因?yàn)檫@些項(xiàng)集能夠捕獲數(shù)據(jù)庫中兩個(gè)數(shù)據(jù)集之間的多屬性差異，具有很好的分類性能。而eEPs(EssentialEmergingPatterns)是一種最具表達(dá)能力的、特殊的EPs，稱為基本顯露模式。它不僅具有EPs的優(yōu)點(diǎn)，可以用來構(gòu)造準(zhǔn)確的分類器，而且數(shù)量比E

3、Ps少很多，可以快速方便地挖掘和使用。 基于EPs的分類方法并不把樣本看作n維空間的點(diǎn)，而是把它們看作項(xiàng)的集合。通過發(fā)現(xiàn)那些從一個(gè)數(shù)據(jù)集到另一個(gè)數(shù)據(jù)集支持度發(fā)生顯著變化的模式(項(xiàng)集)，建立分類器，基于EP的分類方法足以與C4．5、樸素Bayes等分類法相媲美?；贓Ps的分類方法已經(jīng)成功地應(yīng)用于DNA分析等領(lǐng)域，但用于文本自動(dòng)分類還未見到報(bào)道。 本文在分析了文檔頻率特征提取方法存在的問題的基礎(chǔ)上，給出了特征的區(qū)分能力的概

4、念，提出了一種基于區(qū)分能力的特征提取方法，并將基于eEPs的分類方法應(yīng)用到中文文本分類領(lǐng)域，提出并實(shí)現(xiàn)了一個(gè)基于eEPs的中文文本分類算法TCEP。 本文研究工作的主要?jiǎng)?chuàng)新點(diǎn)有：(1)提出了一種基于區(qū)分能力的特征提取方法。該方法綜合考慮了文檔頻率和類信息，所提取出的特征項(xiàng)具有很好的區(qū)分能力。 (2)使用eEPs來構(gòu)建分類器?；趀EPs的分類方法能有效地緩解維災(zāi)難問題，比較適合于大規(guī)模的文本分類任務(wù)。提出并實(shí)現(xiàn)了一個(gè)基于