結(jié)合本體HowNet的中文文本分類研究.pdf

1、互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的迅速發(fā)展不但使得網(wǎng)絡(luò)上的電子文本數(shù)量急劇增加而且改變了人們獲取信息的方式。如何對這樣數(shù)量龐大的電子文本進(jìn)行有效的組織管理以方便人們快速、準(zhǔn)確而全面地獲取潛在的、有價值的知識和信息是信息處理技術(shù)的一項(xiàng)重要課題。文本分類技術(shù)作為解決這一問題的關(guān)鍵技術(shù)之一，已經(jīng)成為信息技術(shù)領(lǐng)域的主要研究方法。同時，作為信息檢索、信息推送和信息過濾等領(lǐng)域的基礎(chǔ)技術(shù)，文本分類有著重要的學(xué)術(shù)價值和廣泛的應(yīng)用前景。
　　對高維特征集合進(jìn)行

2、降維，是文本分類的關(guān)鍵技術(shù)之一。進(jìn)行特征降維的目的是：通過有效的選擇方法留下那些最具有類別區(qū)分能力的特征項(xiàng)，構(gòu)成能夠表現(xiàn)文本內(nèi)容的最優(yōu)特征子集?，F(xiàn)有的基于詞頻統(tǒng)計(jì)思想的特征選擇方法存在的問題包括：一是忽略了特征項(xiàng)本身的語義信息，即它和類別之間的語義聯(lián)系；二是特征項(xiàng)之間存在語義冗余；三是語義冗余使得維數(shù)有限的特征空間無法容納更多的對分類有用的特征項(xiàng)。在分析現(xiàn)有特征降維的思想和方法的基礎(chǔ)上，本文重點(diǎn)探討結(jié)合本體的特征降維方法。
　　本

3、體是對某個領(lǐng)域知識的系統(tǒng)描述，描述對象包括概念以及概念之間的關(guān)系。因此，把本體引入到文本分類的研究中，可以解決傳統(tǒng)的文本表示模型和特征選擇方法所存在的語義問題。在學(xué)習(xí)和研究中文本體HowNet的基礎(chǔ)上，本文提出一種基于概念映射的二次特征降維方法。先利用傳統(tǒng)的效果較好的特征選擇方法選出一個候選特征集合，再利用HowNet對候選特征進(jìn)行概念映射操作，最后進(jìn)行第二次特征選擇得到最終的特征子集。這樣既保持了向量空間模型在文本形式化及數(shù)學(xué)計(jì)算方面

4、的優(yōu)勢，又使選出的特征項(xiàng)盡可能攜帶語義信息并在一定程度上消除特征項(xiàng)之間的語義冗余，從而更符合特征選擇的初衷----選出能表現(xiàn)文本內(nèi)容的最優(yōu)特征子集。因此，本文提出的特征選擇方式并不是針對某一種具體的特征選擇方法所做的改進(jìn)，而是就特征選擇這一問題本身進(jìn)行的一些探索。
　　最后，在中文文本分類實(shí)驗(yàn)平臺上通過多組對比實(shí)驗(yàn)來考察本文提出的基于概念映射的二次特征降維方法的有效性。采用查全率、查準(zhǔn)率和F1值等指標(biāo)分析實(shí)驗(yàn)數(shù)據(jù)。結(jié)果表明本文提出