基于數(shù)據(jù)相關(guān)性的異常檢測(cè)算法研究.pdf

1、隨著互聯(lián)網(wǎng)的普及和信息技術(shù)的發(fā)展，異常檢測(cè)已經(jīng)逐漸成為數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)。異常檢測(cè)旨在檢測(cè)出觀測(cè)數(shù)據(jù)中的非正常值，被廣泛應(yīng)用于反信用卡欺詐、網(wǎng)絡(luò)入侵檢測(cè)、醫(yī)療分析以及氣象預(yù)報(bào)等領(lǐng)域。在這些領(lǐng)域中，異常數(shù)據(jù)的產(chǎn)生，相對(duì)于大量存在的正常數(shù)據(jù)，可以被視作一種隨機(jī)現(xiàn)象，它通常不符合正常數(shù)據(jù)的數(shù)據(jù)模式，也不具備正例樣本所具有的數(shù)據(jù)相關(guān)性。數(shù)據(jù)的相關(guān)性包含數(shù)據(jù)內(nèi)部樣本屬性之間的相關(guān)性以及數(shù)據(jù)樣本間的相關(guān)性，即結(jié)構(gòu)相關(guān)性。研究如何有效利用正常數(shù)據(jù)

2、和異常數(shù)據(jù)在數(shù)據(jù)相關(guān)性上的差異性有助于提高異常檢測(cè)性能。
　　為此，本文圍繞數(shù)據(jù)屬性相關(guān)性和數(shù)據(jù)結(jié)構(gòu)相關(guān)性進(jìn)行了深入細(xì)致的研究，并取得了一定的研究成果。本文的主要研究成果包括:
　　(1)為解決多視角數(shù)據(jù)以及高維數(shù)據(jù)的異常檢測(cè)問題，本文從數(shù)據(jù)屬性相關(guān)性角度出發(fā)，提出了一種基于隨機(jī)相關(guān)編碼的異常檢測(cè)算法。該算法將高維數(shù)據(jù)隨機(jī)劃分為多視角數(shù)據(jù)，并通過隨機(jī)典型相關(guān)編碼提取多視角數(shù)據(jù)集中不同視角和屬性間的相關(guān)性構(gòu)建RCCE特征空間。

3、在RCCE特征空間基礎(chǔ)上利用基于Rayleigh分布的判決模型對(duì)正常數(shù)據(jù)和異常數(shù)據(jù)屬性相關(guān)性的差異進(jìn)行統(tǒng)計(jì)分析以實(shí)現(xiàn)對(duì)測(cè)試樣本的集成判決;
　　(2)在異常檢測(cè)中，正常數(shù)據(jù)通常具有異常數(shù)據(jù)所不具備的某種數(shù)據(jù)結(jié)構(gòu)相關(guān)性，即數(shù)據(jù)的內(nèi)蘊(yùn)結(jié)構(gòu)。為此，本文提出了一種新穎的基于標(biāo)簽傳遞的異常檢測(cè)算法。該算法通過圖模型刻畫正常數(shù)據(jù)所具有的內(nèi)蘊(yùn)結(jié)構(gòu)，并通過多重標(biāo)簽傳遞來構(gòu)建未標(biāo)記正例樣本與待測(cè)試樣本標(biāo)簽置信度的差異。最后，基于正例樣本的標(biāo)簽置信度