多變量IB方法的協(xié)作模型及算法研究.pdf

1、IB方法(InformationBottleneck)通過(guò)對(duì)數(shù)據(jù)的壓縮來(lái)分析其中所蘊(yùn)含的內(nèi)在模式，在機(jī)器學(xué)習(xí)、模式識(shí)別等眾多領(lǐng)域中取得了成功的應(yīng)用。多變量IB方法(MultivariateInformationBottleneck)是對(duì)IB方法的拓展，采用更多的變量來(lái)抽象現(xiàn)實(shí)問(wèn)題，讓更多的信息參與到數(shù)據(jù)的壓縮中，通過(guò)它們之間的互相配合共同完成更具挑戰(zhàn)性的數(shù)據(jù)分析任務(wù)。
　　多變量IB方法為多元數(shù)據(jù)分析問(wèn)題提供了理論框架，其協(xié)作模型

2、是對(duì)數(shù)據(jù)分析任務(wù)高度抽象化的一種形式，刻畫了變量之間的協(xié)作關(guān)系，為數(shù)據(jù)分析任務(wù)目標(biāo)函數(shù)的確定提供了依據(jù)。一個(gè)好的協(xié)作模型可有效利用領(lǐng)域問(wèn)題中所有有價(jià)值的信息來(lái)完成數(shù)據(jù)分析任務(wù)。算法則實(shí)現(xiàn)了對(duì)目標(biāo)函數(shù)的優(yōu)化，事關(guān)數(shù)據(jù)分析的效率及目標(biāo)函數(shù)的優(yōu)化程度。協(xié)作模型與算法均是多變量IB方法研究的核心問(wèn)題。
　　本文從雙向壓縮、無(wú)冗余多視角聚類、多特征變量信息融合和選擇性數(shù)據(jù)分析四個(gè)問(wèn)題出發(fā)，重點(diǎn)研究多變量IB方法的協(xié)作模型與算法，主要成果有:

3、
　　(1)提出交叉對(duì)稱IB協(xié)作模型(ICSIB)，將壓縮之前的原特征變量引入到對(duì)稱IB的雙向壓縮中，解決對(duì)稱IB中特征信息損失問(wèn)題。ICSIB算法采用交錯(cuò)的“抽取-合并”順序迭代過(guò)程對(duì)ICSIB目標(biāo)函數(shù)進(jìn)行優(yōu)化，理論上保證收斂到目標(biāo)函數(shù)的局部?jī)?yōu)解，具有較低的時(shí)間和空間復(fù)雜度。實(shí)驗(yàn)表明，在原特征變量的協(xié)助下，ICSIB算法所得到的數(shù)據(jù)雙向壓縮模式更接近于數(shù)據(jù)中真實(shí)的內(nèi)在模式。
　　(2)提出無(wú)冗余IB協(xié)作模型(NrIB)，將

4、已知數(shù)據(jù)劃分信息以負(fù)變量的形式融入到數(shù)據(jù)的壓縮中，使它們協(xié)助IB方法挖掘一個(gè)新的高質(zhì)量聚類模式。NrIB算法既適宜于分析共現(xiàn)數(shù)據(jù)又適宜于分析歐氏空間的非共現(xiàn)數(shù)據(jù)，可挖掘出數(shù)據(jù)中線性及非線性可分模式，無(wú)需額外參數(shù)來(lái)估算歐氏空間中的信息量。實(shí)驗(yàn)表明，NrIB算法可有效地利用已知數(shù)據(jù)劃分信息來(lái)學(xué)習(xí)一個(gè)無(wú)冗余高質(zhì)量的聚類模式。
　　(3)針對(duì)多特征變量信息融合的問(wèn)題，提出多特征IB協(xié)作模型(MfIB)與基于數(shù)據(jù)局部一致性特征的IB協(xié)作模型

5、(LCIB)，使得多變量IB方法可在多種特征信息的協(xié)助下共同挖掘數(shù)據(jù)中所蘊(yùn)含的內(nèi)在模式。實(shí)驗(yàn)表明，綜合考慮了多種特征信息的MfIB算法與LCIB算法可更有效地發(fā)現(xiàn)數(shù)據(jù)中所蘊(yùn)含的真實(shí)模式。
　　(4)提出一個(gè)具有數(shù)據(jù)選擇分析能力的DSIB算法。該算法采用順序“或抽取-或合并”的策略來(lái)優(yōu)化DSIB目標(biāo)函數(shù)，可有選擇地對(duì)數(shù)據(jù)進(jìn)行模式分析。論文從理論上證明了該優(yōu)化算法可在有限步驟內(nèi)收斂到目標(biāo)函數(shù)的局部?jī)?yōu)解。實(shí)驗(yàn)表明，DSIB算法可更好地發(fā)