基于信息理論的空間離群點(diǎn)挖掘技術(shù)研究.pdf

1、離群點(diǎn)挖掘已成為數(shù)據(jù)挖掘研究領(lǐng)域最活躍的分支之一。在數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)等領(lǐng)域受到廣泛關(guān)注，在欺詐檢測(cè)、入侵檢測(cè)、故障檢測(cè)、生態(tài)系統(tǒng)失調(diào)、公共衛(wèi)生中的異常疾病的爆發(fā)、公共安全中的突發(fā)事件的發(fā)生、異常自然氣候的發(fā)現(xiàn)等應(yīng)用中有著廣闊的應(yīng)用前景。
　　 隨著傳感器設(shè)備技術(shù)的發(fā)展，數(shù)據(jù)采集設(shè)備的數(shù)量越來(lái)越多，精度越來(lái)越高，空間數(shù)據(jù)的數(shù)量越來(lái)越大，維數(shù)也越來(lái)越高。現(xiàn)有的針對(duì)空間數(shù)據(jù)的離群點(diǎn)挖掘方法主要是基于距離和基于密度的，

2、這些方法受到“維度災(zāi)難”和數(shù)據(jù)量伸縮性的挑戰(zhàn)。基于信息理論的離群點(diǎn)檢測(cè)算法一般研究的是分類屬性并假設(shè)屬性之間相互獨(dú)立，由于空間數(shù)據(jù)的自相關(guān)性和異質(zhì)性，決定了現(xiàn)有的基于信息理論的離群點(diǎn)檢測(cè)方法也難以適應(yīng)數(shù)據(jù)挖掘，故基于信息理論的空間離群點(diǎn)挖掘算法還未見報(bào)道。
　　 因此，本文將根據(jù)空間數(shù)據(jù)自身的特點(diǎn)，基于綜合考慮信息熵和屬性之間關(guān)聯(lián)性的全息熵概念，研究基于全息熵的能同時(shí)適應(yīng)離散屬性和連續(xù)屬性的空間離群點(diǎn)檢測(cè)算法。論文主要工作如下:

3、
　　 (1)對(duì)現(xiàn)有的與空間離群點(diǎn)檢測(cè)相關(guān)的典型的離群點(diǎn)檢測(cè)算法進(jìn)行分析和實(shí)驗(yàn)比較，指出各自的優(yōu)勢(shì)及存在的局限。
　　 (2)針對(duì)現(xiàn)有的空間鄰居（域）的確定僅僅依靠空間關(guān)系，造成復(fù)雜度高的局限，提出利用空間標(biāo)識(shí)屬性實(shí)現(xiàn)空間區(qū)域劃分，并利用空間標(biāo)識(shí)屬性的層次特性建立層次樹，直到特定層次，即在一定區(qū)域內(nèi)才通過(guò)空間關(guān)系確立空間鄰居，并用R*-樹進(jìn)行檢索，從而降低了計(jì)算復(fù)雜度，并為分布并行計(jì)算奠定了基礎(chǔ)。
　　 (3)針

4、對(duì)現(xiàn)有的空間離群點(diǎn)檢測(cè)算法難以適應(yīng)高維大數(shù)據(jù)的問(wèn)題，提出綜合考慮信息熵和屬性之間互信息的全息熵的空間離群點(diǎn)挖掘算法。算法提出了針對(duì)不同類型屬性的相異度度量方法和基于相異度信息熵度量方法，并提出了基于信息熵的屬性權(quán)重計(jì)算方法。在此基礎(chǔ)上提出了基于加權(quán)的全息熵的離群度度量方法，并設(shè)計(jì)了基于離群度的空間離群點(diǎn)挖掘算法。理論和實(shí)驗(yàn)結(jié)果均表明，由于算法綜合考慮了空間數(shù)據(jù)的特性，有效實(shí)現(xiàn)了數(shù)據(jù)劃分和權(quán)重的自動(dòng)計(jì)算，在計(jì)算復(fù)雜度、計(jì)算精度、用戶依賴性