數(shù)據(jù)質量和隱私保護中聚類分類算法的應用研究.pdf

1、數(shù)據(jù)質量和隱私保護問題已經(jīng)引起了學術界廣泛的關注，并已成為當前學術界的熱點研究領域.數(shù)據(jù)質量并不僅僅是指數(shù)據(jù)錯誤，通常定義為數(shù)據(jù)的一致性(consistency)、正確性(correctness)、完整性(completeness)和最小性(minimality)這四個指標在信息系統(tǒng)中得到的滿足程度，也有文獻把“適合使用”作為衡量數(shù)據(jù)質量的初步標準.基于隱私保護的數(shù)據(jù)挖掘是指在盡量不影響挖掘結果的情況下，讓一些敏感信息得到盡可能多的保密

2、. 當前數(shù)據(jù)質量的研究大多集中在相似重復記錄清理、不完整數(shù)據(jù)清理和錯誤數(shù)據(jù)清理等方面.為了更適合不同數(shù)據(jù)挖掘任務的完成，本文拓寬了數(shù)據(jù)質量的定義內涵，將對數(shù)據(jù)集基于不同目標進行變換都稱為提高數(shù)據(jù)質量的操作.本文主要使用了多種聚類策略來提高不同挖掘目標的數(shù)據(jù)質量. 本文拓展了傳統(tǒng)的數(shù)據(jù)一致性(consistency)定義，借鑒連續(xù)函數(shù)的思想，提出了一個分類樣本空間的一致性度量概念來衡量數(shù)據(jù)集的分類一致性，進一步將其推廣到數(shù)

3、值型連續(xù)數(shù)據(jù)上.作為具體驗證，將提出的連續(xù)分類一致性定義用到了SOM方法中，得到基于SOM連續(xù)分類一致性定義的分類方法.最后從VC維的角度分析了提出算法的優(yōu)點. 為了使核方法適用于大規(guī)模數(shù)據(jù)集的求解，本文提出了基于聚類加權的快速核方法.快速聚類核方法使用聚類方法讓原始數(shù)據(jù)集規(guī)模縮小，從而解決了核計算中大規(guī)模矩陣的計算效率(甚至不可運行)的問題，使矩陣特征值求解問題的規(guī)模從O(n3)下降到O(τ3)，τ<

4、論證明，在極大地提高算法效率的情況下，分類精度的差別可以嚴格控制在微小范圍內.最后我們還將此方法具體應用于KernelFoley-SammonTransform(KFST)算法和KernelPrincipalComponentAnalysis(KPCA)算法中. 本文提出了一種基于偏離Gauss(高斯)分布的變量聚類ICA方法，先對變量進行聚類，再在每一類變量上進行ICA分析，即通過變量聚類的方法來提高數(shù)據(jù)集的針對ICA的數(shù)據(jù)質

5、量.針對ICA方法的特點，將每個變量與用極大似然估計得到的Gauss分布進行比較，得到一個差值序列，根據(jù)這個差值序列進行變量之間的聚類.實驗結果表明我們的方法能提高數(shù)據(jù)集的分類一致性，從而提高了預測精度. 通過對大型稀疏數(shù)據(jù)庫的分析，本文提出了一種基于反向變量聚類的分層加速算法.這種方法可以提高大型稀疏數(shù)據(jù)庫中對大數(shù)據(jù)集操作的速度，同時節(jié)約了存儲空間.其主要思想是利用反向變量聚類的方法，對屬性進行聚類，生成一個投影聚類數(shù)據(jù)庫.投

6、影數(shù)據(jù)庫中，多個屬性被統(tǒng)一聚集在一個聚類變量下，從而屬性的數(shù)量被極大地減少了.分層加速算法壓縮了稀疏數(shù)據(jù)集，節(jié)約了存儲空間，提高了運算的效率. 本文對一類含有敏感屬性的數(shù)據(jù)集進行了分析，提出了基于等距加密(IsometricEncryption，IE)的數(shù)據(jù)集變換方法，以提高數(shù)據(jù)集對保密性數(shù)據(jù)質量要求.第一個等距加密方法是旋轉變換，首先對旅游者的敏感屬性進行隨機等距旋轉變換，再對變化后的數(shù)據(jù)集停用基于案例的推理方法進行旅游線路的

7、聚類分析.這里的旋轉變換方法可以保持數(shù)據(jù)集中任意兩點間的距離不變，從而對變換前后的數(shù)據(jù)集進行基于案例推理尋示最近鄰點得到的結果是一致的.而且旋轉變換是隨機的，可以經(jīng)受攻擊而不容易被攻破.可使旅游者的敏感信息得到嚴格的保護.進一步，將旋轉變換的方法推廣到Johnson-Lindenstrauss隨機映射的方法和流形學習(manifoldlearning)的方法上，得到了基于Johnson-Lindenstrauss隨機映射和K-最近鄰法的