進(jìn)化多目標(biāo)稀疏重構(gòu)和集成學(xué)習(xí).pdf

1、人工智能在將近六十多年的發(fā)展中已經(jīng)取得了很大的進(jìn)步。本博士論文主要探討和研究人工智能的兩個(gè)及其重要的研究領(lǐng)域：智能計(jì)算和分類問題。本博士論文研究了進(jìn)化計(jì)算和分類器集成的幾個(gè)關(guān)鍵性問題：1)針對(duì)約束優(yōu)化問題中由于約束條件而造成的對(duì)全局最優(yōu)解搜索困難的問題，提出了結(jié)合進(jìn)化多目標(biāo)的優(yōu)點(diǎn)來(lái)解決約束優(yōu)化問題；2)從理論角度分析和研究了可以用在大規(guī)模優(yōu)化問題的分解算法；3)從多目標(biāo)優(yōu)化的角度分析和求解近幾年在各個(gè)領(lǐng)域應(yīng)用都非常廣泛的稀疏重構(gòu)問題;4

2、)給出如何將壓縮感知的優(yōu)點(diǎn)應(yīng)用到集成學(xué)習(xí)上并給出一種非?？焖儆行У姆诸惼骷伤惴??？偨Y(jié)起來(lái)，本博士論文的主要貢獻(xiàn)如下：
　　?提出了一種用于約束優(yōu)化的新穎選擇進(jìn)化策略
　　約束優(yōu)化問題在理論和實(shí)踐中都是一類很常見的問題。約束優(yōu)化問題的解空間被約束條件分為可行解空間和不可行解空間。不可行解空間的存在使得解約束優(yōu)化問題的算法很難在既保證效率、最優(yōu)性又滿足約束條件下快速收斂。這里，提出用多目標(biāo)的技術(shù)來(lái)權(quán)衡在可行解和非可行解之間的搜

3、索，并且提出一種自適應(yīng)的選擇策略來(lái)同時(shí)搜索對(duì)算法收斂有促進(jìn)作用的可行解和不可行解。因?yàn)榧s束優(yōu)化問題的最優(yōu)解是一個(gè)可行的不可支配解，所以違反約束條件較小的不可支配解和目標(biāo)函數(shù)值較小的可行解是對(duì)進(jìn)化過(guò)程有益的兩類解。提出的算法就是著重保存和搜索這兩類解，并且也給出相關(guān)的理論證明。最后，也將提出的算法在22個(gè)標(biāo)準(zhǔn)函數(shù)測(cè)試庫(kù)進(jìn)行了算法性能的對(duì)比測(cè)試。實(shí)驗(yàn)結(jié)果也證實(shí)我們提出算法可以得到高效可行的結(jié)果。
　　?提出了一種基于二次混合偏導(dǎo)數(shù)的分

4、解算法
　　在工程實(shí)踐和科學(xué)研究中，研究者們通常會(huì)遇到大規(guī)模的優(yōu)化問題。而這類問題的最大難點(diǎn)就是所謂的“維度災(zāi)難”。一種直觀但高效可行的辦法是“分而治之”的方法。協(xié)同進(jìn)化計(jì)算方法使得進(jìn)化計(jì)算解決問題的規(guī)?？梢源蠓忍岣摺＿@是由于協(xié)同進(jìn)化計(jì)算首先將一個(gè)大規(guī)模的優(yōu)化問題分為若干個(gè)小問題，然后再對(duì)每個(gè)小問題進(jìn)行逐個(gè)求解，最后求得整個(gè)優(yōu)化問題的最優(yōu)解。這也使得分解方法成為決定協(xié)同進(jìn)化計(jì)算性能的關(guān)鍵性因素。本章節(jié)中，主要從理論上研究大規(guī)模問

5、題的變量之間的相關(guān)性，給出了相關(guān)的理論和推論。提出了一種基于二次混合偏導(dǎo)數(shù)的分解算法，并且在對(duì)差分分解算法進(jìn)行深入研究的基礎(chǔ)上，基于本章節(jié)的理論研究提出了一種隨機(jī)差分分解算法，該分解算法可以解決差分算法無(wú)法解決的問題。最后的實(shí)驗(yàn)結(jié)果也證實(shí)了該算法的有效性。
　　?提出了一種進(jìn)化多目標(biāo)用于稀疏重構(gòu)問題的算法
　　通過(guò)進(jìn)化多目標(biāo)的方法來(lái)研究在壓縮感知中兩個(gè)相互矛盾的代價(jià)函數(shù)（測(cè)量誤差和稀疏正則項(xiàng))。我們深入分析研究了稀疏重構(gòu)問題

6、，并通過(guò)實(shí)驗(yàn)數(shù)據(jù)證明此類問題的帕里托面上存在拐點(diǎn)區(qū)域，而且也進(jìn)一步證實(shí)稀疏重構(gòu)問題的最優(yōu)解存在于拐點(diǎn)區(qū)域。此外，還提出一個(gè)基于問題的進(jìn)化多目標(biāo)局部搜索方法來(lái)處理壓縮感知問題，進(jìn)而提出了基于軟閾值的多目標(biāo)進(jìn)化計(jì)算。該算法通過(guò)軟閾值的方法來(lái)加強(qiáng)搜索這兩個(gè)方向上的解：一類是加快朝帕里托面收斂速度的解；另一類是增加帕里托面解分布均勻性的解。通過(guò)對(duì)這兩類解的著重搜索也促進(jìn)了對(duì)拐點(diǎn)區(qū)域的確定，進(jìn)而確保了對(duì)最優(yōu)解的搜索。最后，通過(guò)和其他先進(jìn)算法的對(duì)比

7、實(shí)驗(yàn)證實(shí)了該算法的優(yōu)點(diǎn)。也給出了該算法在實(shí)踐應(yīng)用中的實(shí)驗(yàn)結(jié)果，例如：從含有噪聲污染的信號(hào)和圖像中恢復(fù)出原始信號(hào)和圖像。
　　?提出了一種基于壓縮感知的快速高效集成算法
　　高效集成學(xué)習(xí)需要達(dá)到兩個(gè)目標(biāo)：盡量少的分類器個(gè)體數(shù)量和盡量高的分類精度。本博士論文中，介紹了這兩個(gè)目標(biāo)如何通過(guò)壓縮感知的框架完美的實(shí)現(xiàn)。這里我們很巧妙地將分類器問題轉(zhuǎn)化成為壓縮感知問題，將集成學(xué)習(xí)的兩個(gè)目標(biāo)轉(zhuǎn)化成為壓縮感知中需要解決的兩個(gè)問題，同時(shí)兼顧了分

8、類器個(gè)體的稀疏性和集成總體的分類精度，進(jìn)而提出了基于壓縮感知框架的快速高效集成算法。本章中的另外一個(gè)貢獻(xiàn)是提出一種新的集成學(xué)習(xí)性能評(píng)價(jià)指標(biāo)-基于輪盤賭的kappa錯(cuò)誤評(píng)價(jià)指標(biāo)。該指標(biāo)不僅僅考慮到各個(gè)分類器的權(quán)重，也有效地降低了最終在圖像中顯示出的分類器對(duì)數(shù)（但不影響讀者對(duì)最終結(jié)果的判斷)。此類方法可以更清楚直觀地展示kappa圖，尤其是在最后集成分類器較多的情況下更有效。實(shí)驗(yàn)部分我們?cè)?5個(gè)公開的測(cè)試數(shù)據(jù)上對(duì)比了四種不同稀疏重構(gòu)算法用于

9、集成學(xué)習(xí)的性能。最后的也給出提出算法和其他五個(gè)最好集成算法的對(duì)比實(shí)驗(yàn)結(jié)果。這些實(shí)驗(yàn)表明本文提出的算法不但可以得到更高的精度，并且在速度上也優(yōu)越于其他的算法。
　　?提出了一種聯(lián)合稀疏集成算法
　　闡述了如何通過(guò)使用一個(gè)聯(lián)合稀疏表示方法，把一組稀疏系數(shù)向量分配給一組弱分類器，最后組合成一個(gè)性能較強(qiáng)的分類器合集。該方法中，訓(xùn)練數(shù)據(jù)被分成多個(gè)子組，以產(chǎn)生子欠定系統(tǒng)。然后采用聯(lián)合稀疏方法將這些子群體聯(lián)合起來(lái)，進(jìn)而分享它們關(guān)于個(gè)體分類

10、器的信息，以獲得一種改進(jìn)的集成結(jié)果。由于提出的聯(lián)合稀疏集成需要將訓(xùn)練樣本分割成若干個(gè)子集，這也使得提出的算法非常適合通過(guò)并行化處理的方式來(lái)處理大規(guī)模的問題。本章的另外一個(gè)貢獻(xiàn)就是提出的算法可以處理多類別的分類問題（相比之下，上一章提出的方法只能處理兩類問題)。文中，給出了兩種不同的策略來(lái)產(chǎn)生子欠定系統(tǒng)，在兩種對(duì)訓(xùn)練數(shù)據(jù)不同的處理方法下得到的實(shí)驗(yàn)結(jié)果也表明了此方法的有效性。另外，文中也給出了聯(lián)合稀疏集成算法和其他五種經(jīng)典方法的對(duì)比實(shí)驗(yàn)，實(shí)