基于信息理論的數(shù)字模式識別及應用研究.pdf

1、本文在國家自然科學基金資助項目"信息模式識別理論及其在地學中的應用"(項目編號:40074001)的支持下,以信息理論為切入點,集統(tǒng)計理論、系統(tǒng)理論、模糊數(shù)學理論、模式識別理論于一身,對數(shù)字模式識別(DPR)理論進行了系統(tǒng)地研究.首先在現(xiàn)有模式測度理論基礎上,系統(tǒng)地研究了信息模式測度(IPM)理論.基于信息理論,提出了對稱交互熵(SCE)、關聯(lián)信息系數(shù)(IIC)、離散量(DC)等基本概念,以此為基礎,建立了交互距離測度(CDM)、關聯(lián)信

2、息測度(IIM)、信息距離測度(IDM)以及信息系數(shù)測度(ICM)等理論.所有這些理論與方法,拓寬了信息模式相似性測度的研究領域,是DPR研究的重要組成部分;其次系統(tǒng)地討論了基于離差陣判據(jù)、基于概率距離判據(jù)、基于散度判據(jù)及基于信息熵判據(jù)的信息特征壓縮方法,對其算法分別進行了研究;根據(jù)信息熵的思想,提出了第二表示熵或廣義熵以及幾何熵,并論證了DKLT比其它任何正交變換下的廣義熵、幾何熵為最小,從而x的DKLT使得信息量向變換后的某些分量相

3、對集中,為信息特征優(yōu)化壓縮奠定了理論基礎;在研究主成份分析(PCA)算法的基礎上,借助于Shannon信息理論中信息函數(shù)的概念,我們首次定義了本征值的可能性信息函數(shù),進而提出了信息率(IR)和累計信息率(AIR)的概念,用它度量了信息壓縮的程度,建立了一種新的基于信息理論的PCA特征壓縮算法;在交互熵的基礎上,提出了對稱交互熵(SCEC)的概念,建立基于SCEC的信息特征壓縮算法;首次將偏最小二乘(PLS)回歸引入到信息特征壓縮領域,提

4、出了基于PLS的信息特征壓縮算法,PLS回歸是一種測量數(shù)據(jù)的軟建模、穩(wěn)健(Robust)的統(tǒng)計分析方法.較主成份分析(PCA)具有簡單、穩(wěn)健、易于定性解釋等優(yōu)點,對于多重共線性資料,尤其當解釋變量多,而樣本量少時很有效.同時由于在壓縮數(shù)據(jù)矩陣X的信息的同時,顧及了與目標矩陣Y的最大相關性等優(yōu)點,使之更符合于實際;最后基于信息模式測度(IPM)、信息特征壓縮(IFC)理論的研究,建立了基于信息系數(shù)測度(ICM)、基于改進信息相似系數(shù)(II

5、CM)的信息聚類算法,并將其應用于土壤質量評價分類中;應用信息熵理論,提出了客觀熵權(OEW)的概念,并給出了OEW的構造方法,建立了基于OEW的數(shù)字模式識別算法,模擬結果表明,這里提出的算法是有效的、合理的;在對偏最小二乘(PLS)回歸算法分析的基礎上,把反應變量看作0-1變量,進而提出了一種新的基于PLS的數(shù)字模式識別算法,該算法較Fisher判別分析、Bayes判別分析具有較高的識別性能,且具有簡單、穩(wěn)健、易于定性解釋等優(yōu)點;以模