短信文本的聚類方法研究.pdf

1、近年來(lái)，隨著通訊業(yè)的迅猛發(fā)展，短信已成為手機(jī)用戶經(jīng)常進(jìn)行交流、發(fā)表意見(jiàn)或建議的手段。通訊公司為了改善自己的服務(wù)，常常會(huì)收到客戶對(duì)移動(dòng)服務(wù)以短信形式回饋回來(lái)的意見(jiàn)或者建議，而信息的分類是信息處理的重要組成部分。將客戶的信息進(jìn)行有效的組織、管理、分類和處理是擺在許多通訊公司的一大難題，也給信息科學(xué)和技術(shù)領(lǐng)域帶來(lái)新的挑戰(zhàn)。本文針對(duì)短信文本的聚類問(wèn)題，首先給出兩種特征選擇方法。然后在聚類算法方面，先采用規(guī)則的方法然后通過(guò)K均值算法對(duì)文本進(jìn)行聚類

2、。最后選擇多個(gè)初始點(diǎn)代表各個(gè)簇的類別信息方法，實(shí)現(xiàn)對(duì)短信文本的最佳聚類。主要內(nèi)容如下:
　　(1)高維空間的數(shù)據(jù)分布考察
　　文本利用有指導(dǎo)的K-NN分類算法和傳統(tǒng)的K均值無(wú)監(jiān)督指導(dǎo)方法，對(duì)所選數(shù)據(jù)進(jìn)行高維空間分布考察。方法1:通過(guò)基于信息增益的有監(jiān)督K-NN分類方法，分別用全封閉測(cè)試和半封閉測(cè)試來(lái)考察數(shù)據(jù)在高維空間中是否具有一致性;方法2:利用基于信息增益的K均值聚類方法對(duì)數(shù)據(jù)的聚集性進(jìn)行考察。
　　(2)針對(duì)短信文

3、本的特征選擇方法研究
　　短信文本本身比較短，通過(guò)較少的文字就可以表達(dá)文本所要表達(dá)的內(nèi)容。本文針對(duì)短信這一屬性，我們分別通過(guò)全局高文檔頻率和各類高文檔頻率來(lái)作為特征選擇的方法，在這兩個(gè)方面展開(kāi)研究。
　　(3)基于規(guī)則與K均值聚類算法的短信數(shù)據(jù)處理
　　基于規(guī)則與K均值聚類算法的短信數(shù)據(jù)處理，是將分過(guò)詞的文本，把含有“積分”這個(gè)屬性的文本歸為積分類。這樣可以大量地避免其他四類文本錯(cuò)誤的分到積分類里面。無(wú)論是從單個(gè)類別還