數(shù)據(jù)約簡效果的評價方法研究.pdf

1、隨著計算機技術的不斷發(fā)展,出現(xiàn)了大量的海量數(shù)據(jù)。為了降低處理海量數(shù)據(jù)所消耗的時間和存儲海量數(shù)據(jù)需要的空間,對海量數(shù)據(jù)進行數(shù)據(jù)分析前,需要先對其進行數(shù)據(jù)約簡。數(shù)據(jù)約簡效果的好壞直接關系著后續(xù)的數(shù)據(jù)分析的正確與否。因此,探索行之有效的數(shù)據(jù)約簡效果評價方法,對海量數(shù)據(jù)處理有著重要的理論意義和現(xiàn)實意義。
　　考慮到數(shù)據(jù)集中實例的變化和特征的變化會影響數(shù)據(jù)集的分類效果,綜合了類半徑、類間距和類實例數(shù)對分類精度的影響,分別給出了二分類數(shù)據(jù)集和

2、多分類數(shù)據(jù)集的新宏觀F1值計算公式,提出了一種基于分類的數(shù)據(jù)約簡效果評價方法。該類方法適用于分類明顯的數(shù)據(jù)集。
　　從基于實例選擇的數(shù)據(jù)約簡的兩個方面:數(shù)據(jù)編輯和數(shù)據(jù)壓縮入手,分析了數(shù)據(jù)約簡對相似性的影響。通過對數(shù)據(jù)集間的距離、數(shù)據(jù)集的分位數(shù)和數(shù)據(jù)集中實例的頻數(shù)分布等三個統(tǒng)計特征的分析,提出了三種基于相似性的數(shù)據(jù)約簡效果評價方法,分別是基于馬氏距離、基于QQPlot圖和基于統(tǒng)計直方圖的方法。該類方法具有普適性,適用于任何數(shù)據(jù)集。<