一種基于相似預(yù)測(cè)的粗糙集預(yù)處理研究.pdf

1、隨著數(shù)據(jù)挖掘技術(shù)的成熟,信息產(chǎn)業(yè)的不斷涌現(xiàn),以及互聯(lián)網(wǎng)的迅速發(fā)展,人們?nèi)粘Ｉ钚枰男畔⒘恳灾笖?shù)級(jí)速度增長(zhǎng)。傳統(tǒng)的數(shù)據(jù)分析和查詢方法在實(shí)際應(yīng)用中不能滿足人們對(duì)隱藏在數(shù)據(jù)背后的潛在知識(shí)的迫切需要。粗糙集理論作為新的數(shù)學(xué)工具,它具有不需要附加任何外界信息或先驗(yàn)知識(shí)這一顯著特點(diǎn),逐漸成為了研究知識(shí)發(fā)現(xiàn)的重要的理論之一。由于經(jīng)典的粗糙集理論不能處理具有空值或多值的源數(shù)據(jù)集合,需要經(jīng)過(guò)數(shù)據(jù)預(yù)處理得到適合數(shù)據(jù)挖掘算法的數(shù)據(jù),數(shù)據(jù)預(yù)處理在整個(gè)數(shù)據(jù)挖掘

2、處理步驟占有重要的地位,因此如何有效地進(jìn)行數(shù)據(jù)預(yù)處理具有非常重要的現(xiàn)實(shí)意義。
　　 本文在粗糙集數(shù)據(jù)預(yù)處理中對(duì)數(shù)據(jù)直接填補(bǔ)和擴(kuò)展關(guān)系模型的處理方法展開研究。首先研究目前一些主要數(shù)據(jù)補(bǔ)齊算法所存在缺陷:產(chǎn)生冗余信息系統(tǒng)、需先驗(yàn)屬性值分布概率、無(wú)稀疏數(shù)據(jù)處理等。采用協(xié)同過(guò)濾技術(shù)的稀疏數(shù)據(jù)集處理方法,根據(jù)屬性和對(duì)象相似度計(jì)算結(jié)果填補(bǔ)稀疏信息表,同時(shí)與基于向域的空值填補(bǔ)算法結(jié)合,改進(jìn)得出一種基于相似預(yù)測(cè)的粗糙集空值估算方法;其次,在相似

3、度計(jì)算過(guò)程中引入熵和互信息的概念,提出了一種刻畫信息表屬性特征的二重特征權(quán)值,使填補(bǔ)值能夠體現(xiàn)出信息表的屬性特征并提高填補(bǔ)結(jié)果準(zhǔn)確度;最后,針對(duì)多值和不可填補(bǔ)空值問(wèn)題引入多值非完備信息系統(tǒng)和存在型非限制容差關(guān)系,在屬性約簡(jiǎn)過(guò)程中對(duì)數(shù)據(jù)這兩個(gè)問(wèn)題進(jìn)行處理。
　　 通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了本文提出算法的有效性。仿真實(shí)驗(yàn)結(jié)果表明,在稀疏數(shù)據(jù)情況下本文改進(jìn)的算法在準(zhǔn)確率和平均誤差指標(biāo)均優(yōu)于改進(jìn)前的方法。在屬性約簡(jiǎn)過(guò)程中,根據(jù)實(shí)例驗(yàn)證了處理多值