數(shù)據(jù)挖掘大作業(yè)

1、使用knn方法的信息論聚類,,大綱,背景相關(guān)知識算法介紹實驗總結(jié),大綱,背景相關(guān)知識算法介紹實驗總結(jié),背景,聚類：把數(shù)據(jù)對象劃分為子集的過程應(yīng)用：機器學(xué)習(xí)、模式識別、商業(yè)智能。。。聚類方法：劃分方法、層次方法、基于密度的方法、基于網(wǎng)格的方法,聚類方法,非參數(shù)信息論聚類,信息理論學(xué)習(xí)（ITL）方法：過程：,是美國弗羅里達計算神經(jīng)工程實驗室的研究員們歷時超過十年時間完成的，這個理論橫跨了

2、數(shù)字信號處理，信息論，機器學(xué)習(xí)等多門學(xué)科,該理論的核心是利用信息論中信息摘和離差的描述符和作為非參數(shù)代價函數(shù)去訓(xùn)練有監(jiān)督或者無監(jiān)督的自適應(yīng)學(xué)習(xí)系統(tǒng)，因此而稱作信息理論學(xué)習(xí),采取的方法是基于Renyi的二階熵的使用梯度下降的方法進行全局優(yōu)化,本文工作,改進的knn ITC的方法分層方法來優(yōu)化KNN信息論的代價函數(shù)兩個不同的k值與Parzen窗做比較,大綱,背景相關(guān)知識算法介紹實驗總結(jié),Knn概率估計函數(shù),數(shù)據(jù)源

3、：有D維數(shù)據(jù)集 Knn的概率估計：,其中 𝑉 𝑘 (X)是以x為中心第k個近鄰的超體積,其中Г(*)是伽瑪函數(shù) || 𝑋 𝑘 || 2 是向量x到第k個近鄰歐氏距離的模,Parzen窗,核函數(shù)密度估計：窗函數(shù)類型,𝜑 𝑢 = 1,|𝑢|≤ 1 2 0,

4、其他,𝜑 𝑢 = 1 √2 exp ? 1 2 𝑢 2,𝜑 𝑢 =𝑒𝑥𝑝 ?|𝑢|,方窗,正態(tài)窗,指示窗,相關(guān)結(jié)果,Silverman規(guī)則其中,CS散度,Renyi的二次熵柯西-施瓦茨散度：Renyi形式：一般化：,改進的CS散度,Knn的估計熵：Knn的交叉熵：改

5、進后的CS散度：,大綱,背景相關(guān)知識算法介紹實驗總結(jié),算法流程,,{X1， X2…Xn},A{a1,a2..an},B{b1,b2..bn},C{c1,c2..cn},,初始的Kinit個簇,,未標簽的數(shù)據(jù)點,算法流程,,{X1， X2…Xn},A{a1,a2..an},B{b1,b2..bn},C{c1,c2..cn},A{a1,a2..x3..x5..},B{b1,b2..x1,xn..},C{c1

6、,c2..x4,x9..},,J cs 最小,算法流程,假設(shè) J cs 𝐴,𝐵 < J cs 𝐴,𝐶 < J cs 𝐵,𝐶,A{a1,a2..x3..x5..},B{b1,b2..x1,xn..},C{c1,c2..x4,x9..},計算最小的 J cs 𝐴+𝑐𝑛..,&

7、#119861;+c1..,A{a1,c1,x1…},B{b1,cn,xn…},偽代碼,參數(shù)選擇,K init 和 N init 的選擇：K值的選擇：,不屬于關(guān)鍵參數(shù)，只要不要太小即可,簇與簇間 即 為k = 1簇內(nèi) 或 k = K max,大綱,背景相關(guān)知識算法介紹實驗總結(jié),實驗,數(shù)據(jù)集為wine

8、數(shù)據(jù) K init 為（10~12）， N init 為80%, 𝐾 𝑒𝑛𝑑 為（2~3）來源UCI數(shù)據(jù)庫（加州大學(xué)歐文分校）,基準數(shù)據(jù),不同算法間準確率的比較,人臉圖像,數(shù)據(jù)為300張的“Fery faces”分辨率（28*20）數(shù)據(jù)來源：http://cs.nyu.edu/roweis/data.html,,,聚類結(jié)果比較,遙感圖像數(shù)據(jù),分辨率為（1