基于認知的信息模式測度與特征壓縮算法研究.pdf

1、本文就模式識別的第一次映射為研究對象，建立基于認知的信息模式測度與特征壓縮算法。其主要研究內(nèi)容包括以下四個方面： 1、信息模式測度(IPM)理論研究。 介紹了信息的基本概念及其基本性質(zhì)，討論了離散信源及其信息測度、連續(xù)信源及其信息測度。然后在現(xiàn)有模式測度理論基礎(chǔ)上，基于交互熵理論，提出了對稱交互熵(SCE)的概念，建立了交互距離測度(CDM)理論；同樣基于信息論，提出了多項式熵(PE)的概念，并對PE進行了改進，提出了改

2、進多項式熵(IPE)的概念，由此建立了一種新的多項式熵測度(PEM)理論：以平均互信息量或公共信息量為基礎(chǔ)，提出了相關(guān)信息系數(shù)(CIC)的概念，以此為基礎(chǔ)，建立了相關(guān)信息測度(CIM)理論；以平均互信息量、聯(lián)合熵為基礎(chǔ)，構(gòu)造并論證了一種新的距離測度，從而建立了信息距離測度(IDM)理論；討論了離散量的概念與性質(zhì)，在此基礎(chǔ)上建立離散增量測度，進一步建立廣義信息距離測度。 2、模糊信息測度(FIM)理論研究。 在分析現(xiàn)有模糊

3、集理論的基礎(chǔ)上，基于模糊信息論，對兩個模糊矢量之間的測度理論問題進行了進一步的研究。討論了模糊熵理論，提出了模糊公息(FMI)、模糊相對公息(FAMI)、模糊相對公息(FRM)，進而建立了模糊絕對熵測度（FAEM）、模糊相對熵測度(FREM)等理論；基于Shannon交互熵理論，建立了模糊交互熵(FCE)的概念，并針對FCE的不足，提出了對稱模糊交互熵(SFCE)的概念，由此建立了模糊交互熵測度(FCEM)；在對模糊似然測度(FLM)公

4、理化理論分析的基礎(chǔ)上，建立了一種新型的模糊似然函數(shù)——對稱模糊子集度(SFSD)，以刻畫兩模糊集之間的相近程度。 3、無監(jiān)督信息特征壓縮(UIFC)理論研究。 討論了主成分分析(PCA)的基本原理，基于信息熵理論，研究了PCA的信息特性，為信息特征優(yōu)化壓縮奠定了理論基礎(chǔ)；基于Shannon的可能性理論，根據(jù)PCA的基本思想，尤其是本征值的內(nèi)在特性分析，提出可能性信息函數(shù)(IFP)的概念，用以度量本征值的內(nèi)在特性，提出了可

5、能信息率(IRP)和累計可能信息率(AIRP)概念，用它度量了信息壓縮的程度，由此建立了改進PCA算法(IPCA算法)；將偏最小二乘(PLS)回歸引入到信息特征壓縮領(lǐng)域，提出了基于PLS的信息特征壓縮算法。該算法在對解釋變量數(shù)據(jù)集進行壓縮的同時，顧及了與預(yù)測變量的相關(guān)程度，其壓縮結(jié)果較傳統(tǒng)的主成分分析(PCA)、主成分回歸(PCR)具有更大的優(yōu)越性，尤其當(dāng)解釋變量多，而樣本量少時很有效，且更有理論意義與實際意義；討論了兩維顯示問題，建立

6、了基于兩維顯示的信息特征壓縮算法。 4、有監(jiān)督信息特征壓縮(SIFC)理論研究。 對類別可分性判據(jù)(CSC)的基本概念、基本性質(zhì)研究分析的基礎(chǔ)上，基于信息論，討論了一種新的類別可分性判據(jù)……散度準(zhǔn)則(DC)，討論并證明了DC的基本性質(zhì)，尤其是“距離”度量性質(zhì)，建立了基于DC的信息特征壓縮算法?；谛畔㈧乩碚?，建立了信息熵準(zhǔn)則(IEC)，用于度量兩個后驗概率分布的可分性程度，并給出了幾種IEC判據(jù)。在分析研究IEC判據(jù)的基

7、礎(chǔ)上，且類概率密度函數(shù)服從正態(tài)分布時，建立了一種基于IEC的信息特征壓縮算法；基于交互熵理論，構(gòu)造了對稱交互熵(SCE)，并證明了它是一個距離度量測度。進一步為應(yīng)用方便，提出了多項式熵(PE)，進而構(gòu)造了一種新的距離度量測度……改進的對稱多項式熵(ISPE)準(zhǔn)則?；贗SPE，建立了一種新的有監(jiān)督信息特征壓縮算法，同時，將ISPE準(zhǔn)則進行了改進，構(gòu)造了平均ISPE(AISPE)，建立了一種推廣的基于ISPE的信息特征壓縮算法；在對白化變