面向大規(guī)模實(shí)值優(yōu)化問(wèn)題的CMA-ES算法及其分制策略研究.pdf

1、實(shí)值優(yōu)化問(wèn)題在工程和學(xué)術(shù)領(lǐng)域有廣泛的應(yīng)用背景，許多問(wèn)題最后都可以被定義成實(shí)值優(yōu)化問(wèn)題來(lái)求解。隨著系統(tǒng)越來(lái)越復(fù)雜，需要優(yōu)化的參數(shù)越來(lái)越多，優(yōu)化問(wèn)題解空間的維度越來(lái)越高，導(dǎo)致大規(guī)模優(yōu)化問(wèn)題的出現(xiàn)。演化算法作為一種優(yōu)化問(wèn)題通用求解器，具有啟發(fā)式算法的一系列優(yōu)良特性，包括對(duì)優(yōu)化問(wèn)題的魯棒性、全局搜索能力強(qiáng)等，而且易實(shí)現(xiàn)、易并行，特別適合求解實(shí)值優(yōu)化問(wèn)題。演化算法，已經(jīng)在實(shí)值優(yōu)化問(wèn)題上表現(xiàn)出了良好的性能，并且，在近似優(yōu)化上，已經(jīng)有了理論保證。但是

2、，由于維度災(zāi)難，演化算法在大規(guī)模優(yōu)化問(wèn)題上的表現(xiàn)會(huì)快速下降。協(xié)作性協(xié)同演化框架是一種基于分制策略的演化框架，它將待求解問(wèn)題分解成多個(gè)子問(wèn)題，并在每個(gè)子問(wèn)題上應(yīng)用演化算法來(lái)求解，最后合并多個(gè)子問(wèn)題的解，從而形成原問(wèn)題的解?；趨f(xié)作性協(xié)同演化框架，多種演化算法已經(jīng)成功的從低維優(yōu)化問(wèn)題拓展到了大規(guī)模優(yōu)化問(wèn)題。協(xié)作性協(xié)同演化框架基于分制策略，所以問(wèn)題的劃分方式對(duì)問(wèn)題求解的效果產(chǎn)生非常大的影響。在實(shí)值優(yōu)化問(wèn)題中，往往存在變量之間的相關(guān)性，不恰當(dāng)?shù)?/p>

3、劃分方式將相關(guān)變量劃分到不同的子問(wèn)題中，導(dǎo)致了子問(wèn)題求解的耦合性，從而不能很好的解決原優(yōu)化問(wèn)題。本論文有以下研究目的:
　　1.研究基于協(xié)同演化框架的演化算法在實(shí)值優(yōu)化問(wèn)題上的分制策略;
　　2.研究基于協(xié)同演化框架的演化算法，用于求解大規(guī)模實(shí)值優(yōu)化問(wèn)題;
　　3.將分制策略形式化定義為優(yōu)化問(wèn)題，并開(kāi)展應(yīng)用研究。
　　根據(jù)以上研究目的，本論文以Covariance Matrix Adaptation Evolut

4、ion Strategy(CMA-ES)實(shí)值優(yōu)化算法和協(xié)作性協(xié)同演化框架為研究基礎(chǔ)，進(jìn)行了問(wèn)題分制策略的研究，并將問(wèn)題分制策略應(yīng)用于CMA-ES算法上，用于求解大規(guī)模實(shí)值優(yōu)化問(wèn)題，最后解釋了問(wèn)題分解定義的理論基礎(chǔ)，并將問(wèn)題劃分拓展到一般聚類(lèi)問(wèn)題，在聚類(lèi)問(wèn)題上進(jìn)行應(yīng)用研究。本論文的主要工作和創(chuàng)新之處主要有以下幾點(diǎn):
　　1.首先基于高斯分布，研究了CMA-ES實(shí)值優(yōu)化算法的問(wèn)題分解策略，從控制高斯分布作為局部搜索算子的搜索力度的角度

5、，提出了兩種新的問(wèn)題分解方法;
　　2.將提出的問(wèn)題分制策略應(yīng)用到CMA-ES算法上，基于協(xié)作性協(xié)同演化框架，提出了一種更加高效的CC-CMA-ES算法，并在大規(guī)模實(shí)值優(yōu)化問(wèn)題上進(jìn)行實(shí)驗(yàn)研究，驗(yàn)證了提出的問(wèn)題分制策略和優(yōu)化算法在大規(guī)模實(shí)值優(yōu)化問(wèn)題上的有效性;
　　3.從KL散度的角度，將基于高斯分布的問(wèn)題分解定義成了一個(gè)離散優(yōu)化問(wèn)題，解釋了兩種問(wèn)題分解方法的理論基礎(chǔ)，并將基于高斯分布的問(wèn)題分解所形成的離散優(yōu)化問(wèn)題，拓展到一般

6、的聚類(lèi)問(wèn)題上，提出了一種新的聚類(lèi)算法。
　　本論文通過(guò)對(duì)協(xié)同演化框架和CMA-ES算法的研究，提出了兩種新型的問(wèn)題分解策略，并將問(wèn)題分解策略應(yīng)用于CMA-ES算法，提出一種基于協(xié)作性協(xié)同演化框架的CMA-ES算法，可以在高達(dá)1000維的大規(guī)模實(shí)值優(yōu)化問(wèn)題上表現(xiàn)出良好的特性;然后，從KL散度的角度，理論解釋了兩種問(wèn)題分解策略的出發(fā)點(diǎn)，并且將問(wèn)題分解拓展成為一般形式的聚類(lèi)問(wèn)題，將聚類(lèi)定義為一個(gè)離散優(yōu)化問(wèn)題，在Iris數(shù)據(jù)集上進(jìn)行了應(yīng)用