海量流數(shù)據(jù)環(huán)境下的離群數(shù)據(jù)挖掘技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,海量數(shù)據(jù)應(yīng)用處理逐漸成為主流,而流數(shù)據(jù)系統(tǒng)則是其中最為典型的應(yīng)用之一。作為新型的數(shù)據(jù)密集型應(yīng)用,流數(shù)據(jù)具有有序?qū)崟r(shí)到達(dá),數(shù)據(jù)量接近于無限而無法全部保存在存儲介質(zhì)中,應(yīng)用層性能需要達(dá)到實(shí)時(shí)響應(yīng)等特點(diǎn)。由于這些特性,需要在流數(shù)據(jù)的生命周期內(nèi)快速挖掘出潛在的數(shù)據(jù)模式信息,否則數(shù)據(jù)將隨時(shí)間過期而刪除。
　　 因此,流數(shù)據(jù)環(huán)境下的離群數(shù)據(jù)挖掘有著重要的實(shí)用意義,并在金融分析、欺詐檢測等領(lǐng)域有著廣泛應(yīng)用。但是目前仍

2、然缺乏相關(guān)的離群點(diǎn)定義及模型,如果直接在流數(shù)據(jù)應(yīng)用中使用傳統(tǒng)的離群數(shù)據(jù)挖掘算法,則無法達(dá)到實(shí)時(shí)響應(yīng)的性能要求。為此,本文主要對流數(shù)據(jù)環(huán)境下的離群數(shù)據(jù)定義、模型以及挖掘算法進(jìn)行了研究和探索。
　　 本文首先對流數(shù)據(jù)處理以及離群數(shù)據(jù)挖掘領(lǐng)域的相關(guān)工作和研究現(xiàn)狀進(jìn)行了回顧和分析,全面介紹了目前主流的離群點(diǎn)定義和檢測算法,并綜合流數(shù)據(jù)處理模型總結(jié)了當(dāng)前工作的不足及問題,分析了存在的挑戰(zhàn),并引出了本文的研究內(nèi)容。
　　 通過將流數(shù)

3、據(jù)按照屬性相似度進(jìn)行劃分,本文提出了屬性離群點(diǎn)的概念,并設(shè)計(jì)了一個通用的在線挖掘框架,通過將流數(shù)據(jù)按照屬性聚集性實(shí)時(shí)劃分為多個子集合,結(jié)合后續(xù)的離群數(shù)據(jù)挖掘算法在每個子劃分內(nèi)對屬性離群點(diǎn)進(jìn)行檢測。
　　 針對屬性離群點(diǎn)的概念,引入基于距離的離群度量標(biāo)準(zhǔn),提出了一套面向監(jiān)控的在線屬性離群點(diǎn)挖掘方案,實(shí)時(shí)維護(hù)每個流數(shù)據(jù)對象的鄰居總數(shù)。同時(shí)為了應(yīng)對流數(shù)據(jù)環(huán)境下的高負(fù)載情況,將數(shù)據(jù)降載技術(shù)與近似算法相結(jié)合,在保證結(jié)果誤差可控的前提下大幅

4、提高算法性能。另外介紹了一種利用距離幾何特性的網(wǎng)格劃分策略,對部分冗余距離計(jì)算進(jìn)行剪枝,進(jìn)一步減少計(jì)算開銷。
　　 本文另外提出了一套面向預(yù)測的在線屬性離群數(shù)據(jù)挖掘框架,利用核密度估計(jì)方法快速對當(dāng)前滑動窗口內(nèi)流數(shù)據(jù)內(nèi)容分布進(jìn)行模擬,并以此預(yù)測新到達(dá)流數(shù)據(jù)的離群度。在此基礎(chǔ)上,為了進(jìn)一步提升性能和減少資源占用,不再為每個流數(shù)據(jù)對象建立核密度探測器,而改為對一組數(shù)據(jù)創(chuàng)建對應(yīng)核函數(shù),大幅減少相應(yīng)的核函數(shù)數(shù)目和計(jì)算資源開銷。