基于內(nèi)容和情感的文本分類方法研究.pdf

1、文本分類在自然語言處理、信息組織、內(nèi)容過濾等領域都有著廣泛的應用。傳統(tǒng)的K最鄰近法具有簡單、強壯、無參數(shù)、分類精度高的優(yōu)點,但它需要計算一個新文本和所有訓練文本的距離,因而需要大量的計算時間。針對這一問題,本文在使用K最鄰近法之前先使用聚類方法對數(shù)據(jù)進行預處理,具體做法是使用CHAMELEON算法把訓練集中的每個類聚成多個小簇,計算小簇的質(zhì)心得到廣義實例集,找到與未知文本最近的k1個廣義實例,再用回溯法找到這k1個廣義實例所代表的原始文

2、本,從這些原始文本中找到與未知文本最近的k2個文本,用它們投票表決未知文檔的歸類。在Tan語料庫和復旦語料庫上的實驗表明該方法能夠達到與傳統(tǒng)KNN相同的分類精度和召回度,而運行時間只需要KNN的十分之一左右。
　　在網(wǎng)絡購物中消費者對商品的評論已成為電子商務信任機制的重要組成部分,但大多數(shù)電子商務網(wǎng)站還不能從語義層面上自動區(qū)分好評與差評。本文以《知網(wǎng)》情感詞為種子詞匯,提出了一種基于條件隨機場的Bootrapping情感詞挖掘算法

3、,并利用互信息將這些情感詞分為正面和負面兩類。根據(jù)句子中包含正面和負面情感詞的數(shù)目將電子商務網(wǎng)站上的圖書評論自動分為好評和差評。對2026條圖書評論作分類實驗,正確率將近82％,說明了算法的有效性。
　　分詞和特征項選擇是文本分類的前期準備工作。本文通過在微軟研究院提供的中文語料上做分詞實驗發(fā)現(xiàn)條件隨機場要優(yōu)于隱馬爾可夫模型。信息增益、互信息、期望交叉熵和卡方統(tǒng)計量是四種特征選擇的方法,本文的對比實驗表明信息增益和卡方統(tǒng)計量這兩種