Web文本分類關(guān)鍵技術(shù)研究與應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展以及Internet的普及，大量的信息充斥著我們的生活、工作，信息的產(chǎn)生量達(dá)到空前水平，而這些基于 Web所產(chǎn)生的數(shù)據(jù)大多是非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)，因此對(duì)這些數(shù)據(jù)的組織與處理方式對(duì)我們是一大挑戰(zhàn)。通過(guò) Web文本分類技術(shù)，可以對(duì) Web文本數(shù)據(jù)進(jìn)行高效的組織及分類，這就有效的提高了信息檢索的速度及精度。同時(shí)Web文本分類技術(shù)是Web文本挖掘技術(shù)的一部分，正是由于對(duì)Web文本分類精度的提高，為人們從Web中提取未知的及

2、有價(jià)值的信息提供了可能。
　　本文正是以Web文本數(shù)據(jù)作為研究對(duì)象，對(duì)Web文本分類技術(shù)所涉及的問(wèn)題及技術(shù)進(jìn)行分析與研究。同時(shí)，本文對(duì) Web文本分類技術(shù)的研究背景及其所具有的意義進(jìn)行了介紹，對(duì)當(dāng)前國(guó)內(nèi)外該研究領(lǐng)域的研究現(xiàn)狀進(jìn)行了說(shuō)明。在此基礎(chǔ)上，描述了其涉及到的相關(guān)知識(shí)及分類效果的評(píng)估，為后續(xù)操作提供了理論依據(jù)。首先，對(duì)于現(xiàn)有的Web文本分類技術(shù)中，在文本特征選擇階段中所進(jìn)行的特征選擇方式進(jìn)行了分析討論，對(duì)于文本特征之間關(guān)系進(jìn)行

3、了研究，設(shè)計(jì)了一種采用Web文本特征關(guān)聯(lián)性進(jìn)行文本特征選擇的方案，并通過(guò)實(shí)驗(yàn)驗(yàn)證了其在文本分類方面的作用及意義。與此同時(shí)，從基于信息增益（IG）的特征提取方法與基于?2統(tǒng)計(jì)量的特征選擇所具有的優(yōu)點(diǎn)得到啟發(fā)，通過(guò)對(duì)其進(jìn)行進(jìn)一步的研究、改進(jìn)，采用IG-CHI方法進(jìn)行特征提取的方案，結(jié)合傳統(tǒng)的特征提取方式對(duì)兩種特征選擇方式在效率及精度方面進(jìn)行了分析比較。其次，對(duì)于現(xiàn)有的分類模型進(jìn)行對(duì)比，在Web文本分類模型中單個(gè)分類器在效率及準(zhǔn)確性方面并不能