數(shù)據(jù)質(zhì)量和隱私保護中聚類分類算法的應(yīng)用研究.pdf

1、數(shù)據(jù)質(zhì)量和隱私保護問題已經(jīng)引起了學(xué)術(shù)界廣泛的關(guān)注，并已成為當(dāng)前學(xué)術(shù)界的熱點研究領(lǐng)域.數(shù)據(jù)質(zhì)量并不僅僅是指數(shù)據(jù)錯誤，通常定義為數(shù)據(jù)的一致性(consistency)、正確性(correctness)、完整性(completeness)和最小性(minimality)這四個指標(biāo)在信息系統(tǒng)中得到的滿足程度，也有文獻把“適合使用”作為衡量數(shù)據(jù)質(zhì)量的初步標(biāo)準(zhǔn).基于隱私保護的數(shù)據(jù)挖掘是指在盡量不影響挖掘結(jié)果的情況下，讓一些敏感信息得到盡可能多的保密

2、. 當(dāng)前數(shù)據(jù)質(zhì)量的研究大多集中在相似重復(fù)記錄清理、不完整數(shù)據(jù)清理和錯誤數(shù)據(jù)清理等方面.為了更適合不同數(shù)據(jù)挖掘任務(wù)的完成，本文拓寬了數(shù)據(jù)質(zhì)量的定義內(nèi)涵，將對數(shù)據(jù)集基于不同目標(biāo)進行變換都稱為提高數(shù)據(jù)質(zhì)量的操作.本文主要使用了多種聚類策略來提高不同挖掘目標(biāo)的數(shù)據(jù)質(zhì)量. 本文拓展了傳統(tǒng)的數(shù)據(jù)一致性(consistency)定義，借鑒連續(xù)函數(shù)的思想，提出了一個分類樣本空間的一致性度量概念來衡量數(shù)據(jù)集的分類一致性，進一步將其推廣到數(shù)

3、值型連續(xù)數(shù)據(jù)上.作為具體驗證，將提出的連續(xù)分類一致性定義用到了SOM方法中，得到基于SOM連續(xù)分類一致性定義的分類方法.最后從VC維的角度分析了提出算法的優(yōu)點. 為了使核方法適用于大規(guī)模數(shù)據(jù)集的求解，本文提出了基于聚類加權(quán)的快速核方法.快速聚類核方法使用聚類方法讓原始數(shù)據(jù)集規(guī)?？s小，從而解決了核計算中大規(guī)模矩陣的計算效率(甚至不可運行)的問題，使矩陣特征值求解問題的規(guī)模從O(n3)下降到O(τ3)，τ<

4、論證明，在極大地提高算法效率的情況下，分類精度的差別可以嚴(yán)格控制在微小范圍內(nèi).最后我們還將此方法具體應(yīng)用于KernelFoley-SammonTransform(KFST)算法和KernelPrincipalComponentAnalysis(KPCA)算法中. 本文提出了一種基于偏離Gauss(高斯)分布的變量聚類ICA方法，先對變量進行聚類，再在每一類變量上進行ICA分析，即通過變量聚類的方法來提高數(shù)據(jù)集的針對ICA的數(shù)據(jù)質(zhì)

5、量.針對ICA方法的特點，將每個變量與用極大似然估計得到的Gauss分布進行比較，得到一個差值序列，根據(jù)這個差值序列進行變量之間的聚類.實驗結(jié)果表明我們的方法能提高數(shù)據(jù)集的分類一致性，從而提高了預(yù)測精度. 通過對大型稀疏數(shù)據(jù)庫的分析，本文提出了一種基于反向變量聚類的分層加速算法.這種方法可以提高大型稀疏數(shù)據(jù)庫中對大數(shù)據(jù)集操作的速度，同時節(jié)約了存儲空間.其主要思想是利用反向變量聚類的方法，對屬性進行聚類，生成一個投影聚類數(shù)據(jù)庫.投

6、影數(shù)據(jù)庫中，多個屬性被統(tǒng)一聚集在一個聚類變量下，從而屬性的數(shù)量被極大地減少了.分層加速算法壓縮了稀疏數(shù)據(jù)集，節(jié)約了存儲空間，提高了運算的效率. 本文對一類含有敏感屬性的數(shù)據(jù)集進行了分析，提出了基于等距加密(IsometricEncryption，IE)的數(shù)據(jù)集變換方法，以提高數(shù)據(jù)集對保密性數(shù)據(jù)質(zhì)量要求.第一個等距加密方法是旋轉(zhuǎn)變換，首先對旅游者的敏感屬性進行隨機等距旋轉(zhuǎn)變換，再對變化后的數(shù)據(jù)集停用基于案例的推理方法進行旅游線路的

7、聚類分析.這里的旋轉(zhuǎn)變換方法可以保持?jǐn)?shù)據(jù)集中任意兩點間的距離不變，從而對變換前后的數(shù)據(jù)集進行基于案例推理尋示最近鄰點得到的結(jié)果是一致的.而且旋轉(zhuǎn)變換是隨機的，可以經(jīng)受攻擊而不容易被攻破.可使旅游者的敏感信息得到嚴(yán)格的保護.進一步，將旋轉(zhuǎn)變換的方法推廣到Johnson-Lindenstrauss隨機映射的方法和流形學(xué)習(xí)(manifoldlearning)的方法上，得到了基于Johnson-Lindenstrauss隨機映射和K-最近鄰法的