中文文本分類算法比較研究.pdf

1、隨著Internet的迅猛發(fā)展，文本信息的數(shù)量也日益增加，文本信息的自動(dòng)處理也變得越來(lái)越重要。文本分類作為自然語(yǔ)言處理的一個(gè)基本問(wèn)題，是文本信息處理中的一項(xiàng)主要技術(shù)，受到文本處理領(lǐng)域越來(lái)越多的關(guān)注。本文對(duì)文本分類技術(shù)的研究主要分為兩個(gè)部分：
　　 第一部分，設(shè)計(jì)了一種基于類別核心詞上下文矩陣的文本表示方法。該方法首先把在文本的標(biāo)題、摘要、關(guān)鍵詞和文章開頭結(jié)尾部分出現(xiàn)的特征詞提取為類別核心詞。雖然類別核心詞能比較好地表示文本的類別

2、特征，但是卻不能體現(xiàn)出文本的上下文關(guān)系。針對(duì)這一不足提出了類別核心詞上下文矩陣，該矩陣把詞條按照對(duì)類別核心詞信息量大小的不同排列在矩陣的不同位置，使得上下文關(guān)系與類別核心詞較好地聯(lián)系起來(lái)。其次，根據(jù)詞條在文章的不同位置以及類別核心詞上下文矩陣中的不同位置重新進(jìn)行權(quán)重計(jì)算，進(jìn)而更有效的表示文本。
　　 第二部分，討論了貝葉斯（NB）、K-近鄰（KNN）、支撐向量機(jī)（SVM）這三種中文文本分類方法，并對(duì)這三種分類方法進(jìn)行比較研究。<