小文本聚類技術(shù)及其在電子郵件中的應(yīng)用研究.pdf

1、信息數(shù)據(jù)量的日益膨脹給數(shù)據(jù)處理帶來了一定的挑戰(zhàn)，據(jù)統(tǒng)計(jì)約70％的網(wǎng)絡(luò)信息是以文本形式顯現(xiàn)的。然而，此類信息數(shù)量很多而且雜亂，聚類技術(shù)能夠在一定程度上對(duì)這些信息進(jìn)行重新分類和組織。文本聚類是數(shù)據(jù)挖掘領(lǐng)域的一項(xiàng)重要技術(shù)，主要的依據(jù)假設(shè)是:相同類文檔的相似度較大，而不同類文檔的相似度較小。同時(shí)，很多郵件和微博等內(nèi)容大多以小文本的形式存在，其信息量大且更新速度較快。如何高效準(zhǔn)確地處理小文本聚類變得至關(guān)重要。
　　由于小文本相對(duì)于通常的文本

2、所包含的信息量較少，大多數(shù)詞并非能夠完全表征小文本的特點(diǎn)，因而導(dǎo)致直接采用傳統(tǒng)文本的自然語言處理技術(shù)來處理小文本效果欠佳。如何獲取小文本的特征，并基于此進(jìn)行聚類成為越來越受關(guān)注的課題。
　　本文研究了小文本聚類問題，介紹了針對(duì)郵件小文本的聚類方法。首先介紹了小文本標(biāo)準(zhǔn)化思想構(gòu)造特征詞集來降低小文本的高維度;其次提出了EJaccard衡量小文本的內(nèi)部聚合度;再次對(duì)k-means聚類算法進(jìn)行了改進(jìn)，先采用簡單直觀的層次聚類算法，解決了

3、對(duì)原始信息依賴性問題，又對(duì)層次聚類進(jìn)行了改進(jìn)，通過控制給定閾值進(jìn)而自動(dòng)控制簇的數(shù)值;最后針對(duì)Email小文本數(shù)據(jù)，提出了局部聚類算法，有效的解決了小文本中不同內(nèi)容的劃分問題，同時(shí)提出了全局聚類算法，主要解決的關(guān)鍵問題是使得一個(gè)講述兩個(gè)以上內(nèi)容的Email小文本能夠被聚類到不同的簇中。
　　針對(duì)Email小文本數(shù)據(jù)集，本文對(duì)局部聚類和全局聚類方法的實(shí)驗(yàn)結(jié)果加以分析，提出的方法可以有效地增大聚類結(jié)果局部和全局的差異性，從而改善了小文本