基于關(guān)系權(quán)重的SVM文本分類研究.pdf

1、隨著科學(xué)技術(shù)的日新月異，特別是互聯(lián)網(wǎng)的快速發(fā)展，各種信息情報(bào)激增，人們可以通過各種手段快速獲取大量的文本資料，但是如何對(duì)所獲取的資料進(jìn)行科學(xué)而有效地管理，如何運(yùn)用計(jì)算機(jī)對(duì)文本進(jìn)行自動(dòng)分類是擺在人們面前的一個(gè)不可回避而又很有意義的課題。支持向量機(jī)作為一種強(qiáng)分類器，在文本分類中的應(yīng)用獲得了廣泛的研究，成為現(xiàn)代信息處理的一個(gè)研究熱點(diǎn)。本文在上述背景下，開展了基于關(guān)系權(quán)重的SVM文本分類的研究。 本文首先介紹了支持向量機(jī)的理論，并對(duì)其在

2、多類問題中的幾種組合策略進(jìn)行了分析和比較。同時(shí)闡述了文本分類的一些相關(guān)知識(shí)，比如向量空間模型、文本分類評(píng)價(jià)指標(biāo)等。 然后，深入分析了一種簡(jiǎn)單又常用的TF-IDF特征加權(quán)算法的特點(diǎn)，找出其分類精度不高的原因，在此基礎(chǔ)上提出了一種基于關(guān)系權(quán)重的文本表示方法，通過引入關(guān)系權(quán)重，優(yōu)化了文本表示，在文本向量中體現(xiàn)了不同特征項(xiàng)在不同類別中重要程度的差異，使得在此權(quán)重下不同類別的文本得到更準(zhǔn)確的區(qū)分。同時(shí)，本文還采用六種不同的特征選擇評(píng)估函數(shù)

3、來計(jì)算關(guān)系權(quán)重，改進(jìn)了文本向量的表示。 接著，本文構(gòu)造了一個(gè)基于關(guān)系權(quán)重的SVM中文文本分類系統(tǒng)。該系統(tǒng)采用“一對(duì)多”的方法來進(jìn)行SVM文本分類，并且在文本排重模塊中，引入了一個(gè)聚類算法，通過設(shè)定一個(gè)適當(dāng)?shù)木垲惏霃?，達(dá)到聚類排重的目的，降低了系統(tǒng)的時(shí)間復(fù)雜度。 最后，通過一個(gè)數(shù)碼產(chǎn)品信息語料庫進(jìn)行了文本分類實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：用大多數(shù)的特征選擇評(píng)估函數(shù)來計(jì)算關(guān)系權(quán)重，對(duì)文本分類精度都有一定的優(yōu)化和改進(jìn)，其中以互信息效果最