基于隱馬爾科夫模型的文本分類(lèi)器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)信息不斷膨脹，面對(duì)浩瀚的信息海洋，人們?cè)讷@得豐富信息資源的同時(shí)，也面臨著巨大的信息災(zāi)難。為了提供高效、精準(zhǔn)的信息服務(wù)，產(chǎn)生了一系列信息處理技術(shù)。文本分類(lèi)是現(xiàn)代信息處理中一個(gè)重要任務(wù)，也是文本挖掘中的一個(gè)重要環(huán)節(jié)，近年來(lái)已經(jīng)產(chǎn)生了若干成熟的分類(lèi)算法，但這些算法大部分是基于傳統(tǒng)的概率統(tǒng)計(jì)模型，特征詞與特征詞之間相互獨(dú)立，沒(méi)有與文本自身的語(yǔ)法和語(yǔ)義建立起聯(lián)系，只能從分詞階段和特征選擇階段進(jìn)一步提高分類(lèi)精度。
　

2、　本文通過(guò)對(duì)隱馬爾科夫模型和文本分類(lèi)領(lǐng)域的學(xué)習(xí)和理解，將文本分類(lèi)同隱馬爾科夫模型結(jié)合，實(shí)現(xiàn)基于隱馬爾科夫模型的文本分類(lèi)器，旨在增強(qiáng)特征詞與特征詞之間的聯(lián)系，從而在分類(lèi)算法上提高分類(lèi)精度。
　　本文為每一個(gè)類(lèi)別構(gòu)建一個(gè)隱馬爾科夫模型，用序列模式描述文本類(lèi)，將變形后的特征值的升序序列所對(duì)應(yīng)的特征詞作為狀態(tài)集。將待分類(lèi)文本描述成一系列狀態(tài)演化的隱馬爾科夫過(guò)程，文本序列通過(guò)與隱馬爾科夫分類(lèi)模型匹配，求出輸出對(duì)應(yīng)狀態(tài)序列概率最大的隱馬爾科夫

3、模型所對(duì)應(yīng)的類(lèi)別，達(dá)到文本分類(lèi)的目的。特征詞語(yǔ)特征詞之間存在聯(lián)系，特征詞的狀態(tài)轉(zhuǎn)換在一定程度上反映了文章的語(yǔ)義的聯(lián)系。最后在文本預(yù)處理和特征選擇方式相同的條件下，通過(guò)與支持向量機(jī)分類(lèi)算法實(shí)現(xiàn)的分類(lèi)器作比較，驗(yàn)證本文實(shí)現(xiàn)的分類(lèi)器的分類(lèi)效果。
　　本文實(shí)現(xiàn)的分類(lèi)器采用結(jié)巴分詞的精確模式做分詞處理，采用詞頻反文檔頻率做特征選擇，分類(lèi)算法采用本文提出的隱馬爾科夫分類(lèi)模型。通過(guò)與支持向量機(jī)分類(lèi)算法的測(cè)試對(duì)比，測(cè)試結(jié)果優(yōu)于支持向量機(jī)分類(lèi)算法，