數(shù)據(jù)質(zhì)量和隱私保護(hù)中聚類分類算法的應(yīng)用研究.pdf

1、數(shù)據(jù)質(zhì)量和隱私保護(hù)問題已經(jīng)引起了學(xué)術(shù)界廣泛的關(guān)注，并已成為當(dāng)前學(xué)術(shù)界的熱點(diǎn)研究領(lǐng)域.數(shù)據(jù)質(zhì)量并不僅僅是指數(shù)據(jù)錯(cuò)誤，通常定義為數(shù)據(jù)的一致性(consistency)、正確性(correctness)、完整性(completeness)和最小性(minimality)這四個(gè)指標(biāo)在信息系統(tǒng)中得到的滿足程度，也有文獻(xiàn)把“適合使用”作為衡量數(shù)據(jù)質(zhì)量的初步標(biāo)準(zhǔn).基于隱私保護(hù)的數(shù)據(jù)挖掘是指在盡量不影響挖掘結(jié)果的情況下，讓一些敏感信息得到盡可能多的保密

2、. 當(dāng)前數(shù)據(jù)質(zhì)量的研究大多集中在相似重復(fù)記錄清理、不完整數(shù)據(jù)清理和錯(cuò)誤數(shù)據(jù)清理等方面.為了更適合不同數(shù)據(jù)挖掘任務(wù)的完成，本文拓寬了數(shù)據(jù)質(zhì)量的定義內(nèi)涵，將對(duì)數(shù)據(jù)集基于不同目標(biāo)進(jìn)行變換都稱為提高數(shù)據(jù)質(zhì)量的操作.本文主要使用了多種聚類策略來提高不同挖掘目標(biāo)的數(shù)據(jù)質(zhì)量. 本文拓展了傳統(tǒng)的數(shù)據(jù)一致性(consistency)定義，借鑒連續(xù)函數(shù)的思想，提出了一個(gè)分類樣本空間的一致性度量概念來衡量數(shù)據(jù)集的分類一致性，進(jìn)一步將其推廣到數(shù)

3、值型連續(xù)數(shù)據(jù)上.作為具體驗(yàn)證，將提出的連續(xù)分類一致性定義用到了SOM方法中，得到基于SOM連續(xù)分類一致性定義的分類方法.最后從VC維的角度分析了提出算法的優(yōu)點(diǎn). 為了使核方法適用于大規(guī)模數(shù)據(jù)集的求解，本文提出了基于聚類加權(quán)的快速核方法.快速聚類核方法使用聚類方法讓原始數(shù)據(jù)集規(guī)?？s小，從而解決了核計(jì)算中大規(guī)模矩陣的計(jì)算效率(甚至不可運(yùn)行)的問題，使矩陣特征值求解問題的規(guī)模從O(n3)下降到O(τ3)，τ<

4、論證明，在極大地提高算法效率的情況下，分類精度的差別可以嚴(yán)格控制在微小范圍內(nèi).最后我們還將此方法具體應(yīng)用于KernelFoley-SammonTransform(KFST)算法和KernelPrincipalComponentAnalysis(KPCA)算法中. 本文提出了一種基于偏離Gauss(高斯)分布的變量聚類ICA方法，先對(duì)變量進(jìn)行聚類，再在每一類變量上進(jìn)行ICA分析，即通過變量聚類的方法來提高數(shù)據(jù)集的針對(duì)ICA的數(shù)據(jù)質(zhì)

5、量.針對(duì)ICA方法的特點(diǎn)，將每個(gè)變量與用極大似然估計(jì)得到的Gauss分布進(jìn)行比較，得到一個(gè)差值序列，根據(jù)這個(gè)差值序列進(jìn)行變量之間的聚類.實(shí)驗(yàn)結(jié)果表明我們的方法能提高數(shù)據(jù)集的分類一致性，從而提高了預(yù)測(cè)精度. 通過對(duì)大型稀疏數(shù)據(jù)庫的分析，本文提出了一種基于反向變量聚類的分層加速算法.這種方法可以提高大型稀疏數(shù)據(jù)庫中對(duì)大數(shù)據(jù)集操作的速度，同時(shí)節(jié)約了存儲(chǔ)空間.其主要思想是利用反向變量聚類的方法，對(duì)屬性進(jìn)行聚類，生成一個(gè)投影聚類數(shù)據(jù)庫.投

6、影數(shù)據(jù)庫中，多個(gè)屬性被統(tǒng)一聚集在一個(gè)聚類變量下，從而屬性的數(shù)量被極大地減少了.分層加速算法壓縮了稀疏數(shù)據(jù)集，節(jié)約了存儲(chǔ)空間，提高了運(yùn)算的效率. 本文對(duì)一類含有敏感屬性的數(shù)據(jù)集進(jìn)行了分析，提出了基于等距加密(IsometricEncryption，IE)的數(shù)據(jù)集變換方法，以提高數(shù)據(jù)集對(duì)保密性數(shù)據(jù)質(zhì)量要求.第一個(gè)等距加密方法是旋轉(zhuǎn)變換，首先對(duì)旅游者的敏感屬性進(jìn)行隨機(jī)等距旋轉(zhuǎn)變換，再對(duì)變化后的數(shù)據(jù)集停用基于案例的推理方法進(jìn)行旅游線路的

7、聚類分析.這里的旋轉(zhuǎn)變換方法可以保持?jǐn)?shù)據(jù)集中任意兩點(diǎn)間的距離不變，從而對(duì)變換前后的數(shù)據(jù)集進(jìn)行基于案例推理尋示最近鄰點(diǎn)得到的結(jié)果是一致的.而且旋轉(zhuǎn)變換是隨機(jī)的，可以經(jīng)受攻擊而不容易被攻破.可使旅游者的敏感信息得到嚴(yán)格的保護(hù).進(jìn)一步，將旋轉(zhuǎn)變換的方法推廣到Johnson-Lindenstrauss隨機(jī)映射的方法和流形學(xué)習(xí)(manifoldlearning)的方法上，得到了基于Johnson-Lindenstrauss隨機(jī)映射和K-最近鄰法的