文本數(shù)據(jù)挖掘中基于云模型的特征選擇方法研究.pdf

1、隨著信息時(shí)代的來臨以及互聯(lián)網(wǎng)絡(luò)的飛速普及，人們的生活習(xí)慣也隨之發(fā)生了很大的變化，把更多的時(shí)間和精力從報(bào)紙刊物轉(zhuǎn)向了網(wǎng)絡(luò)媒體。網(wǎng)絡(luò)媒體已經(jīng)成為了人們獲取信息的重要途徑。但是，面對浩瀚如煙的海量網(wǎng)絡(luò)數(shù)據(jù)，如何快速準(zhǔn)確地定位到自己感興趣的內(nèi)容，成為了我們需要解決的問題。
　　 文本數(shù)據(jù)挖掘是利用計(jì)算機(jī)通過某種手段從文本數(shù)據(jù)中獲得有價(jià)值信息的一項(xiàng)技術(shù)。其中，文本分類和文本聚類是這項(xiàng)計(jì)算機(jī)處理技術(shù)中非常重要的兩種方法。研究發(fā)現(xiàn)，用于分類和

2、聚類中傳統(tǒng)的特征選擇方法無法考察特征詞詞頻在文本集合中的分布，因而這些方法不能精確地衡量特征詞的類別區(qū)分能力。為了彌補(bǔ)這點(diǎn)不足，本文將云模型理論引入文本特征選擇中，所做的工作主要有以下幾個(gè)方面。
　　 第一、對文本分類和聚類技術(shù)進(jìn)行了較為詳細(xì)地闡述。對其中傳統(tǒng)的特征選擇方法做了深入地研究和探討，詳細(xì)地對比和分析了它們的區(qū)別和存在的不足。
　　 第二、在文本分類中，利用云模型理論分別從關(guān)聯(lián)度和區(qū)分度兩個(gè)方面來衡量特征詞的重

3、要程度。本文將特征詞映射成分類詞云滴，用關(guān)聯(lián)云來描述詞云滴在單個(gè)類別中的分布，用區(qū)分云描述詞云滴在多個(gè)類別中的分布，進(jìn)而構(gòu)建關(guān)聯(lián)云過濾器和區(qū)分云過濾器進(jìn)行特征選擇。實(shí)驗(yàn)采用樸素貝葉斯和SVM這兩種分類器來驗(yàn)證這種方法的有效性。
　　 第三、在文本聚類中，利用云模型理論將特征詞映射成聚類詞云滴，并將詞云滴躍升聚類文檔云。構(gòu)造聚類文檔云過濾器在無類別標(biāo)識的文檔中選擇有區(qū)分能力的特征詞。實(shí)驗(yàn)采用K-means聚類算法驗(yàn)證了聚類云特征的