一種基于相似預(yù)測的粗糙集預(yù)處理研究.pdf

1、隨著數(shù)據(jù)挖掘技術(shù)的成熟,信息產(chǎn)業(yè)的不斷涌現(xiàn),以及互聯(lián)網(wǎng)的迅速發(fā)展,人們?nèi)粘Ｉ钚枰男畔⒘恳灾笖?shù)級速度增長。傳統(tǒng)的數(shù)據(jù)分析和查詢方法在實際應(yīng)用中不能滿足人們對隱藏在數(shù)據(jù)背后的潛在知識的迫切需要。粗糙集理論作為新的數(shù)學(xué)工具,它具有不需要附加任何外界信息或先驗知識這一顯著特點,逐漸成為了研究知識發(fā)現(xiàn)的重要的理論之一。由于經(jīng)典的粗糙集理論不能處理具有空值或多值的源數(shù)據(jù)集合,需要經(jīng)過數(shù)據(jù)預(yù)處理得到適合數(shù)據(jù)挖掘算法的數(shù)據(jù),數(shù)據(jù)預(yù)處理在整個數(shù)據(jù)挖掘

2、處理步驟占有重要的地位,因此如何有效地進行數(shù)據(jù)預(yù)處理具有非常重要的現(xiàn)實意義。
　　 本文在粗糙集數(shù)據(jù)預(yù)處理中對數(shù)據(jù)直接填補和擴展關(guān)系模型的處理方法展開研究。首先研究目前一些主要數(shù)據(jù)補齊算法所存在缺陷:產(chǎn)生冗余信息系統(tǒng)、需先驗屬性值分布概率、無稀疏數(shù)據(jù)處理等。采用協(xié)同過濾技術(shù)的稀疏數(shù)據(jù)集處理方法,根據(jù)屬性和對象相似度計算結(jié)果填補稀疏信息表,同時與基于向域的空值填補算法結(jié)合,改進得出一種基于相似預(yù)測的粗糙集空值估算方法;其次,在相似

3、度計算過程中引入熵和互信息的概念,提出了一種刻畫信息表屬性特征的二重特征權(quán)值,使填補值能夠體現(xiàn)出信息表的屬性特征并提高填補結(jié)果準(zhǔn)確度;最后,針對多值和不可填補空值問題引入多值非完備信息系統(tǒng)和存在型非限制容差關(guān)系,在屬性約簡過程中對數(shù)據(jù)這兩個問題進行處理。
　　 通過仿真實驗驗證了本文提出算法的有效性。仿真實驗結(jié)果表明,在稀疏數(shù)據(jù)情況下本文改進的算法在準(zhǔn)確率和平均誤差指標(biāo)均優(yōu)于改進前的方法。在屬性約簡過程中,根據(jù)實例驗證了處理多值