基于粗集理論的數(shù)據(jù)預(yù)處理及應(yīng)用研究.pdf

1、隨著數(shù)據(jù)庫(kù)技術(shù)的成熟，數(shù)據(jù)應(yīng)用的普及，以及互聯(lián)網(wǎng)的高速發(fā)展，人類積累的數(shù)據(jù)量正在以指數(shù)級(jí)速度迅速增長(zhǎng)。傳統(tǒng)的數(shù)據(jù)分析和查詢方法已不能滿足人們對(duì)隱藏在數(shù)據(jù)背后的知識(shí)的迫切需要，在這種社會(huì)需求的強(qiáng)勁推動(dòng)下，知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘應(yīng)運(yùn)而生，而粗集理論作為一門新的數(shù)學(xué)工具，憑借它不需要附加任何外界信息或先驗(yàn)知識(shí)這一特點(diǎn)，突破了其它數(shù)據(jù)分析工具的局限，避免了人的主觀因素對(duì)數(shù)據(jù)挖掘結(jié)果的影響，逐漸成為了研究知識(shí)發(fā)現(xiàn)的重要的數(shù)學(xué)工具之一。 由于數(shù)

2、據(jù)預(yù)處理是KDD處理步驟中非常重要的一環(huán)，其結(jié)果將直接影響到KDD的效率、準(zhǔn)確度以及最終模式的有效性。而經(jīng)典的粗集理論不能處理原始數(shù)據(jù)資料中的遺漏信息以及值域?yàn)閷?shí)數(shù)的數(shù)據(jù)，需要經(jīng)過數(shù)據(jù)預(yù)處理，包括數(shù)據(jù)補(bǔ)齊和離散化處理后才能進(jìn)行知識(shí)獲取，因此如何有效地進(jìn)行數(shù)據(jù)預(yù)處理具有非常重要的現(xiàn)實(shí)意義。 本文圍繞基于粗集的數(shù)據(jù)預(yù)處理中數(shù)據(jù)補(bǔ)齊和連續(xù)屬性離散化展開討論。首先分析了當(dāng)前主要的數(shù)據(jù)補(bǔ)齊算法的特點(diǎn)和不足，指出了數(shù)據(jù)補(bǔ)齊的原則和目標(biāo)，并針

3、對(duì)已有的基于粗集不完備信息系統(tǒng)補(bǔ)齊算法ROUSTIDA的缺陷，提出了基于量化相似關(guān)系模型和基于受限相似關(guān)系模型的數(shù)據(jù)補(bǔ)齊算法，以使更多的缺損數(shù)據(jù)得到科學(xué)的填補(bǔ)，盡量避免因采用其它方法可能導(dǎo)致的決策規(guī)則矛盾的問題。為了提高粗集模型抗噪音干擾的能力，又提出了基于變精度粗集模型的數(shù)據(jù)補(bǔ)齊算法，以使模型在數(shù)據(jù)存在噪音干擾的情況下，仍然能獲得好的機(jī)器學(xué)習(xí)效果。 然后，對(duì)目前流行的離散化算法進(jìn)行了詳細(xì)的分析和評(píng)價(jià)，指出了離散化的方向和目標(biāo)，