海量流數(shù)據環(huán)境下的離群數(shù)據挖掘技術研究.pdf

1、隨著互聯(lián)網技術的飛速發(fā)展,海量數(shù)據應用處理逐漸成為主流,而流數(shù)據系統(tǒng)則是其中最為典型的應用之一。作為新型的數(shù)據密集型應用,流數(shù)據具有有序實時到達,數(shù)據量接近于無限而無法全部保存在存儲介質中,應用層性能需要達到實時響應等特點。由于這些特性,需要在流數(shù)據的生命周期內快速挖掘出潛在的數(shù)據模式信息,否則數(shù)據將隨時間過期而刪除。
　　 因此,流數(shù)據環(huán)境下的離群數(shù)據挖掘有著重要的實用意義,并在金融分析、欺詐檢測等領域有著廣泛應用。但是目前仍

2、然缺乏相關的離群點定義及模型,如果直接在流數(shù)據應用中使用傳統(tǒng)的離群數(shù)據挖掘算法,則無法達到實時響應的性能要求。為此,本文主要對流數(shù)據環(huán)境下的離群數(shù)據定義、模型以及挖掘算法進行了研究和探索。
　　 本文首先對流數(shù)據處理以及離群數(shù)據挖掘領域的相關工作和研究現(xiàn)狀進行了回顧和分析,全面介紹了目前主流的離群點定義和檢測算法,并綜合流數(shù)據處理模型總結了當前工作的不足及問題,分析了存在的挑戰(zhàn),并引出了本文的研究內容。
　　 通過將流數(shù)

3、據按照屬性相似度進行劃分,本文提出了屬性離群點的概念,并設計了一個通用的在線挖掘框架,通過將流數(shù)據按照屬性聚集性實時劃分為多個子集合,結合后續(xù)的離群數(shù)據挖掘算法在每個子劃分內對屬性離群點進行檢測。
　　 針對屬性離群點的概念,引入基于距離的離群度量標準,提出了一套面向監(jiān)控的在線屬性離群點挖掘方案,實時維護每個流數(shù)據對象的鄰居總數(shù)。同時為了應對流數(shù)據環(huán)境下的高負載情況,將數(shù)據降載技術與近似算法相結合,在保證結果誤差可控的前提下大幅

4、提高算法性能。另外介紹了一種利用距離幾何特性的網格劃分策略,對部分冗余距離計算進行剪枝,進一步減少計算開銷。
　　 本文另外提出了一套面向預測的在線屬性離群數(shù)據挖掘框架,利用核密度估計方法快速對當前滑動窗口內流數(shù)據內容分布進行模擬,并以此預測新到達流數(shù)據的離群度。在此基礎上,為了進一步提升性能和減少資源占用,不再為每個流數(shù)據對象建立核密度探測器,而改為對一組數(shù)據創(chuàng)建對應核函數(shù),大幅減少相應的核函數(shù)數(shù)目和計算資源開銷。