基于聚類分析的圖模型文本分類.pdf

1、隨著文本信息的迅猛增長(zhǎng)，信息處理已經(jīng)成為人們獲取知識(shí)不可缺少的工具。文本分類是信息處理的重要研究方向，它有效地提高了信息服務(wù)質(zhì)量，使用戶更加容易、準(zhǔn)確地定位所需的信息，并被廣泛應(yīng)用于文本處理和信息檢索的各個(gè)領(lǐng)域。文本分類是一個(gè)復(fù)雜的過程，包括文本預(yù)處理、文本特征提取、文本表示、文本分類算法設(shè)計(jì)與性能評(píng)估等主要步驟。
　　本文對(duì)文本分類所涉及的關(guān)鍵技術(shù)進(jìn)行了深入的研究和探討。目前，一些比較成熟的文本分類算法已經(jīng)被應(yīng)用于文本分類中，但

2、它們大都是基于向量空間模型的，文本向量的維數(shù)相當(dāng)大，甚至可以達(dá)到幾萬維。本文首先通過χ2統(tǒng)計(jì)進(jìn)行初步的特征篩選，然后根據(jù)特征項(xiàng)在各個(gè)類別中的分布情況，提出了一種基于χ2統(tǒng)計(jì)的特征聚類算法，將具有相同分布的特征構(gòu)成概念簇，降低了特征維數(shù)，解決了特征空間的高維性與文本向量稀疏性之間的矛盾。針對(duì)傳統(tǒng)向量空間模型中孤立處理特征項(xiàng)問題，本文又使用圖模型建立了特征項(xiàng)之間的關(guān)聯(lián)信息，在一定程度上解決了關(guān)聯(lián)特征提取和向量空間維數(shù)高的問題。最后，在充分考