基于粗糙集和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類技術(shù)研究.pdf

1、隨著信息技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的飛速發(fā)展，人們可以非常容易地獲取和存儲(chǔ)海量數(shù)據(jù)，然而要從海量數(shù)據(jù)中提取出有用信息卻很困難。數(shù)據(jù)分類作為一種重要的數(shù)據(jù)分析技術(shù)，可以用于提取描述重要數(shù)據(jù)類的模型和預(yù)測(cè)未來的數(shù)據(jù)趨勢(shì)，幫助人們擺脫“數(shù)據(jù)豐富，知識(shí)貧乏”的困境。入侵檢測(cè)和文本分類都屬于數(shù)據(jù)分類的范疇，入侵檢測(cè)是根據(jù)網(wǎng)絡(luò)數(shù)據(jù)或主機(jī)數(shù)據(jù)的特征來判別該數(shù)據(jù)代表的行為屬于哪種類型，而文本分類是根據(jù)文檔特征識(shí)別出其所屬的文檔類別。 粗糙集理論是一種處理

2、不精確、不完整和不確定性問題的數(shù)學(xué)工具，通過屬性約簡(jiǎn)能有效地消除冗余信息，抽取分類規(guī)則；而神經(jīng)網(wǎng)絡(luò)也由于具有分類精度高，魯棒性強(qiáng)等顯著優(yōu)點(diǎn)。因此，近年來它們都被廣泛地應(yīng)用于數(shù)據(jù)分類。但是，面對(duì)大規(guī)模的高維數(shù)據(jù)分類問題如入侵檢測(cè)和文本分類等，基于粗糙集的分類容錯(cuò)性差、泛化能力弱；而神經(jīng)網(wǎng)絡(luò)作為分類器存在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、訓(xùn)練時(shí)間過長(zhǎng)等缺陷。如何將粗糙集和神經(jīng)網(wǎng)絡(luò)有機(jī)地結(jié)合起來，并針對(duì)入侵檢測(cè)和文本分類各自的領(lǐng)域特點(diǎn)進(jìn)行有效地運(yùn)用是本文的研究?jī)?nèi)

3、容。 針對(duì)入侵檢測(cè)數(shù)據(jù)存在維數(shù)大、冗余度高及噪聲數(shù)據(jù)多等缺陷，給出了一種基于粗糙集和神經(jīng)網(wǎng)絡(luò)的層次入侵檢測(cè)模型。該模型用粗糙集對(duì)數(shù)據(jù)進(jìn)行預(yù)處理以降低維度，以多個(gè)神經(jīng)網(wǎng)絡(luò)構(gòu)成的層次分類器克服單個(gè)神經(jīng)網(wǎng)絡(luò)分類器的“穩(wěn)定性/可塑性”二難問題。針對(duì)文本分類中的兩個(gè)關(guān)鍵技術(shù)——權(quán)值計(jì)算和特征提取，給出在文本預(yù)處理階段基于特征詞類別分布差異進(jìn)行特征過濾，并引入類別文檔頻數(shù)改進(jìn)TFIDF公式，給出了一種基于可變精度粗糙理論的特征選擇方法，進(jìn)一