免疫進(jìn)化理論

1、免疫進(jìn)化理論的研究,主要內(nèi)容,? 研究背景與現(xiàn)狀 ? 免疫進(jìn)化算法 ? 免疫神經(jīng)網(wǎng)絡(luò) ? 計(jì)算機(jī)免疫安全系統(tǒng)探索,研究背景,在生物科學(xué)領(lǐng)域，人們對進(jìn)化、遺傳和免疫等自然 現(xiàn)象已經(jīng)進(jìn)行了廣泛而深入的研究 ；進(jìn)化算法是建立在模仿生物遺傳與自然選擇基礎(chǔ)上的一種并行優(yōu)化算法，其性能優(yōu)異、應(yīng)用廣泛；進(jìn)化算子在為每個(gè)個(gè)體提供了進(jìn)化機(jī)會(huì)的同時(shí)，也無可避免地產(chǎn)生了退化的可能；大多數(shù)待求問題有可以利用的先驗(yàn)知識(shí)或特征信息

2、，故可以利用這些信息來抑制進(jìn)化過程中的退化現(xiàn)象；生物免疫理論為改進(jìn)原有算法的性能，建立集進(jìn)化與免疫機(jī)制于一體的新型全局并行算法奠定了基礎(chǔ)。,Artificial Immune System－AIS,人工智能信息處理系統(tǒng)的研究,腦神經(jīng)系統(tǒng)（神經(jīng)網(wǎng)絡(luò)）遺傳系統(tǒng)（進(jìn)化計(jì)算）免疫系統(tǒng)（人工免疫系統(tǒng)）,,?一門新興的研究領(lǐng)域,AIS的研究歷史,Farmer等人在1986年首先在工程領(lǐng)域提出免疫概念Varela等人受免疫網(wǎng)絡(luò)學(xué)說的啟發(fā)，提

3、出并進(jìn)而完善免疫網(wǎng)絡(luò)模型。,,?人工免疫網(wǎng)絡(luò)模型,AIS的研究現(xiàn)狀之一,獨(dú)特型免疫網(wǎng)絡(luò)（Jerne）互聯(lián)耦合免疫網(wǎng)絡(luò)（Ishiguro）免疫反應(yīng)網(wǎng)絡(luò)（Mitsumoto）對稱網(wǎng)絡(luò)（Hoffmann）多值免疫網(wǎng)絡(luò)（Tang）,,? 免疫學(xué)習(xí)算法,AIS的研究現(xiàn)狀之二,反面選擇算法（Forrest）免疫學(xué)習(xí)算法（Hunt&Cooke）免疫遺傳算法（Chun）免疫Agent算法（Ishida）免疫網(wǎng)絡(luò)調(diào)節(jié)算法（Wa

4、ng&Cao）免疫進(jìn)化算法（Jiao&Wang）,,? 國際研究,AIS的研究現(xiàn)狀之三,1996年，日本，基于免疫性系統(tǒng)的國際專題討論會(huì)，提出并確認(rèn)人工免疫系統(tǒng)（AIS）的概念；1997年，IEEE的SMC組織專門成立了人工免疫系統(tǒng)及應(yīng)用的分會(huì)組織；目前，幾乎所有有關(guān)人工智能領(lǐng)域的學(xué)術(shù)會(huì)議都收錄AIS方面的論文。,,AIS 的應(yīng)用,?自動(dòng)控制?故障診斷?模式識(shí)別?圖象識(shí)別?優(yōu)化設(shè)

5、計(jì)?機(jī)器學(xué)習(xí)?網(wǎng)絡(luò)安全,,,AIS在控制領(lǐng)域中的應(yīng)用,PID型免疫反饋控制器（ Takahashi ）機(jī)器人控制（ Mitsumoto, Ishiguro, Lee）控制系統(tǒng)的設(shè)計(jì)（ Ishida ）復(fù)雜動(dòng)態(tài)行為建模和自適應(yīng)控制（Kumak）倒擺的控制（ Bersini ）,,,,,,,,AIS在故障診斷中的應(yīng)用,基于相關(guān)識(shí)別特性的免疫網(wǎng)絡(luò)模型用于故障診斷的方法（Ishida）；通過構(gòu)造大規(guī)模獨(dú)特型免疫網(wǎng)絡(luò)來建立用于

6、在線服務(wù)的故障診斷系統(tǒng)（Ishiguru）。,,,AIS在模式識(shí)別中的應(yīng)用,Hunt等人開發(fā)了一種具有學(xué)習(xí)能力的人工免疫系統(tǒng)并用于模式識(shí)別。,,,AIS在聯(lián)想記憶中的應(yīng)用,Gilbert等人采用免疫網(wǎng)絡(luò)模型設(shè)計(jì)了一種內(nèi)容可訪的自動(dòng)聯(lián)想記憶系統(tǒng)并用于圖像識(shí)別。,,,AIS在優(yōu)化設(shè)計(jì)中的應(yīng)用,永磁同步電動(dòng)機(jī)的參數(shù)修正的優(yōu)化設(shè)計(jì)電磁設(shè)備的外形優(yōu)化VLSI印刷線路板的布線優(yōu)化設(shè)計(jì)函數(shù)測試旅行商問題的求解約束搜索優(yōu)化問題和多判據(jù)設(shè)計(jì)問題

7、,,,AIS在網(wǎng)絡(luò)安全的應(yīng)用,數(shù)據(jù)檢測（Forrest ）病毒檢測（ Kephart）UNIX過程監(jiān)控（ Forrest）,,,國際研究新動(dòng)向之一,以開發(fā)新型的智能系統(tǒng)方法為背景，研究基于生物免疫系統(tǒng)機(jī)理的智能系統(tǒng)理論和技術(shù)，同時(shí)將AIS與模糊系統(tǒng)、神經(jīng)網(wǎng)絡(luò)和遺傳算法等軟計(jì)算技術(shù)進(jìn)行集成，并給出其應(yīng)用方法。,,國際研究新動(dòng)向之二,基于最新發(fā)展的免疫網(wǎng)絡(luò)學(xué)說進(jìn)一步建立并完善模糊、神經(jīng)和其它一些專有類型的人工免疫網(wǎng)絡(luò)模型及其應(yīng)用方法。,

8、,國際研究新動(dòng)向之三,將人工免疫系統(tǒng)與遺傳系統(tǒng)的機(jī)理相互結(jié)合，并歸納出各種免疫學(xué)習(xí)算法。比如：免疫系統(tǒng)的多樣性遺傳機(jī)理和細(xì)胞選擇機(jī)理可用于改善原遺傳算法中對局部搜索問題不是很有效的情況；獨(dú)特型網(wǎng)絡(luò)機(jī)理可用于免疫系統(tǒng)中的遺傳部分以避免系統(tǒng)出現(xiàn)早熟現(xiàn)象；發(fā)展用于處理受約束的遺傳搜索和多準(zhǔn)則問題的免疫學(xué)習(xí)算法等。,,國際研究新動(dòng)向之四,基于免疫反饋和學(xué)習(xí)機(jī)理，設(shè)計(jì)自調(diào)整、自組織和自學(xué)習(xí)的免疫反饋控制器。展開對基于免疫反饋機(jī)理的控制系統(tǒng)的設(shè)計(jì)方

9、法和應(yīng)用研究，這有可能成為工程領(lǐng)域中種新型的智能控制系統(tǒng)，具有重要的理論意義與廣泛的應(yīng)用前景。,,國際研究新動(dòng)向之五,進(jìn)一步研究基于免疫系統(tǒng)機(jī)理的分布式自治系統(tǒng)。分布式免疫自治系統(tǒng)在智能計(jì)算、系統(tǒng)科學(xué)和經(jīng)濟(jì)領(lǐng)域?qū)?huì)有廣闊的應(yīng)用前景。,,國際研究新動(dòng)向之六,發(fā)展基于DNA編碼的人工免疫系統(tǒng)以及基于DNA計(jì)算的免疫算法。嘗試將DNA計(jì)算模型引入人工免疫系統(tǒng)中，研究一種基于DNA計(jì)算與AIS相結(jié)合的，有較強(qiáng)抗干擾能力和穩(wěn)定性能的智能系統(tǒng)。,,

10、國際研究新動(dòng)向之七,近年來有學(xué)者已開始研究B細(xì)胞—抗體網(wǎng)絡(luò)的振蕩、混濁和穩(wěn)態(tài)等非線性特性[61]，不過其工作才剛剛開始。人們應(yīng)進(jìn)一步借助非線性的研究方法來研究免疫系統(tǒng)的非線性行為，拓寬非線性科學(xué)的研究范圍。,,國際研究新動(dòng)向之八,進(jìn)一步發(fā)展AIS在科學(xué)和工程上的應(yīng)用，并研制實(shí)際產(chǎn)品，如研制在復(fù)雜系統(tǒng)的協(xié)調(diào)控制、故障檢測和診斷、機(jī)器監(jiān)控、簽名確認(rèn)、噪聲檢測、計(jì)算機(jī)與網(wǎng)絡(luò)數(shù)據(jù)的安全性、圖像與模式識(shí)別等方面的實(shí)際產(chǎn)品。,,,免疫進(jìn)化算法的研究

11、,第一部分,生物免疫的啟示,在生物自然界中，免疫現(xiàn)象普遍存在，并對物種的 生存與繁衍 發(fā)揮著重要的作用；生物的免疫功能主要是由參與免疫反應(yīng)的細(xì)胞或由其構(gòu)成的器官來完成的；生物免疫主要有兩種類型： ? 特異性免疫（Specific Immunity）， ? 非特異性免疫反應(yīng)（Nonspecific Immunity）；生物免疫系統(tǒng)是通過自我識(shí)別、相互刺激與制約而構(gòu)成了一個(gè) 動(dòng)態(tài)平衡的網(wǎng)絡(luò)結(jié)構(gòu) 。,,免疫生

12、物學(xué)的基本概念,? 抗原是指能夠刺激和誘導(dǎo)機(jī)體的免疫系統(tǒng)使其產(chǎn)生免疫應(yīng)答，并能與相應(yīng)的免疫應(yīng)答產(chǎn)物在體內(nèi)或體外發(fā)生特異性反應(yīng)的物質(zhì)。? 抗體是指免疫系統(tǒng)受抗原刺激后，免疫細(xì)胞轉(zhuǎn)化為漿細(xì)胞并產(chǎn)生能與抗原發(fā)生特異性結(jié)合的免疫球蛋白，該免疫球蛋白即為抗體。,,免疫系統(tǒng)的主要功能,? 免疫防御即機(jī)體防御病原微生物的感染；? 免疫（自身）穩(wěn)定即機(jī)體通過免疫功能經(jīng)常消除那些損傷和衰老的細(xì)胞以維持機(jī)體的生理平衡；?

13、免疫監(jiān)視即機(jī)體通過免疫功能防止或消除體內(nèi)細(xì)胞在新陳代謝過程中發(fā)生突變的和異常的細(xì)胞。,,免疫系統(tǒng)的主要特點(diǎn),?免疫識(shí)別?免疫應(yīng)答?免疫耐受?免疫記憶?免疫調(diào)節(jié),,算法研究,,生物學(xué)概念與理論,方法：,,工程計(jì)算方法,進(jìn)化＋免疫,傳統(tǒng)進(jìn)化算法是在一定發(fā)生概率的條件下，隨機(jī)地、沒有指導(dǎo)地迭代搜索，因此它們在為群體中的個(gè)體提供了進(jìn)化機(jī)會(huì)的同時(shí)，也無可避免地產(chǎn)生了退化的可能。每一個(gè)待求的實(shí)際問題都會(huì)有自身一些基本的

14、、顯而易見的特征信息或知識(shí)。然而進(jìn)化算法中的交叉和變異算子在求解問題時(shí)，操作的可變程度較小。,,基本概念,?染色體表示待求問題的解的形式的一種數(shù)據(jù)結(jié)構(gòu)。?基因構(gòu)成染色體的最基本的數(shù)據(jù)單位。?個(gè)體具有某類染色體結(jié)構(gòu)的一種特例。,,基本概念,?抗原所有可能錯(cuò)誤的基因，即非最佳個(gè)體的基因。?疫苗根據(jù)進(jìn)化環(huán)境或待求問題的先驗(yàn)知識(shí)，所得到的對最佳個(gè)體基因的估計(jì)?？贵w 根據(jù)疫苗修正某個(gè)個(gè)體的基因所得

15、到的新個(gè)體。,,免疫算子有兩種類型：全免疫 非特異性免疫目標(biāo)免疫 特異性免疫,免疫思想的實(shí)現(xiàn),? 免疫算子,,,即：群體中的每個(gè)個(gè)體在進(jìn)化算子作用后，對其每一環(huán)節(jié)都進(jìn)行一次免疫操作的免疫類型；,即：在進(jìn)行了進(jìn)化操作后，經(jīng)過一定的判斷，個(gè)體僅在作用點(diǎn)處發(fā)生免疫反應(yīng)的一種類型。,,,,http://www.elecfans.com,免疫操作的基本過程,?首先，對待求求

16、問題進(jìn)行具體分析，從中提取出 最基本的特征信息；? 其次，對此特征信息進(jìn)行處理，以將其轉(zhuǎn)化為求解問題的一種方案；?最后，將此方案以適當(dāng)?shù)男问睫D(zhuǎn)化成 免疫算子 以實(shí)施具體的操作。,,免疫算子,?算法中的免疫思想主要是在合理提取疫苗的基礎(chǔ)上，通過免疫算子來實(shí)現(xiàn)的；?免疫算子由 接種疫苗 和 免疫選擇 兩個(gè)操作完成的。,The Immune operator,為了防止群體的退化。,為了提高個(gè)體的適應(yīng)度。,,,設(shè)個(gè)體x，給其接種疫

17、苗是指按照先驗(yàn)知識(shí)來修改x的某些基因位上的基因或其分量，使所得個(gè)體以較大的概率具有更高的適應(yīng)度。疫苗 是從先驗(yàn)知識(shí)中提煉出來的，它所含的信息量及其準(zhǔn)確性對算法性能的發(fā)揮起著重要的作用。,免疫算子,接種疫苗,之,這一操作一般分兩步完成：第一步是 免疫檢測 ，即對接種了疫苗的個(gè)體進(jìn)行檢測，若其適應(yīng)度仍不如父代，則該個(gè)體將被父代中所對應(yīng)的個(gè)體所取代；第二步是 退火選擇 ，即在目前的子代群體中以右邊所示概率,免疫算子,免疫檢測,之,選擇個(gè)體進(jìn)入

18、新的父代群體。在免疫策略中，僅有免疫檢測而沒有退火選擇。,,體系結(jié)構(gòu),免疫算法免疫規(guī)劃免疫策略,,,免疫算法,隨機(jī)產(chǎn)生初始父代種群A1 ，根據(jù)先驗(yàn)知識(shí)抽取疫苗；若當(dāng)前群體中包含最佳個(gè)體，則算法停止運(yùn)行并輸出結(jié)果；否則，繼續(xù)；對當(dāng)前第k代父本種群Ak進(jìn)行交叉操作，得到種群Bk；對Bk進(jìn)行變異操作，得到種群Ck；對Ck進(jìn)行接種疫苗操作，得到種群Dk；對Dk進(jìn)行免疫選擇操作，得到新一代父本Ak+1，轉(zhuǎn)至第二步。,Immune A

19、lgorithm---IA,免疫算法的收斂性,狀態(tài)轉(zhuǎn)移過程示意圖：,定 理：免疫算法是收斂的。,定 義：如果對于任意的初始分布均有,則稱算法收斂。,,初始化：首先，根據(jù)要求確定解的精度；其次，隨機(jī)產(chǎn)生N個(gè)個(gè)體，并由此構(gòu)成初始的父代種群A0；根據(jù)先驗(yàn)知識(shí)抽取疫苗H；計(jì)算當(dāng)前種群Ak的個(gè)體適應(yīng)度，并進(jìn)行停機(jī)條件的判斷。若條件滿足，則停止運(yùn)行并輸出結(jié)果；否則繼續(xù)；對當(dāng)前的父代群體Ak進(jìn)行變異操作，生成子代群體Bk；對群體Bk進(jìn)行

20、接種疫苗操作，得到種群Ck；對群體Ck進(jìn)行免疫選擇操作，得到新一代父本Ak+1，并轉(zhuǎn)至第三步。,免疫規(guī)劃,Immune Programming---IP,,免疫規(guī)劃的收斂性,狀態(tài)轉(zhuǎn)移過程示意圖：,定 理：免疫規(guī)劃是收斂的。,定 義：如果對于任意的初始分布均有,則稱算法收斂。,,免疫策略,根據(jù)要求確定解的精度，再根據(jù)先驗(yàn)知識(shí)抽取疫苗H；隨機(jī)產(chǎn)生?個(gè)個(gè)體作為初始的父本群體；交叉：產(chǎn)生由父代和子代構(gòu)成的規(guī)模為2?的中間群體；變異

21、：對每一個(gè)個(gè)體進(jìn)行變異將得到一個(gè)新的個(gè)體；免疫：首先按照對問題的先驗(yàn)知識(shí)修改個(gè)體(x,?)的某些分量；然后對群體中注射了疫苗的個(gè)體進(jìn)行檢測；選擇：從規(guī)模為2?的群體中按適應(yīng)度的大小取出前?個(gè)個(gè)體作為新一代父本的群體；停機(jī)條件檢測。,Immune Strategy---IS,,免疫策略的收斂性,狀態(tài)轉(zhuǎn)移過程示意圖：,定 理：免疫策略是收斂的。,定 義：如果對于任意的初始分布均有,則稱算法收斂。,,免疫算子的機(jī)理,在免疫選擇作用

22、下，若疫苗使抗體適應(yīng)度得到提高，且高于當(dāng)前群體的平均適應(yīng)度，則疫苗所對應(yīng)的模式將在群體中呈指數(shù)級(jí)擴(kuò)散；否則，它將被遏制或呈指數(shù)級(jí)衰減。,定 理：,,Begin:抽取疫苗： 分析待求問題，搜集特征信息； 依據(jù)特征信息估計(jì)特定基因位上的模式: ；k = 0 and j = 0；while (Conditions = True) if

23、 {PV}=True, then j = j +1； i = 0； for (i≤n) 接種疫苗： ； 免疫檢驗(yàn)：if , then ; else ； i = i +1

24、； 退火選擇： ； k = k+1；End,免疫算子的執(zhí)行算法,,具體分析待求問題，搜集特征信息。,免疫疫苗的選取方法,通用方法,之一,,,以TSP問題為例，通過具體分析可以得出相鄰兩兩城市之間的最短路徑即為求解該問題時(shí)可以利用的一種疫苗。,,TSP問題的描述,TSP問題是旅行商問題的簡稱。即一個(gè)商人從某一城市出發(fā)，要遍歷所有目標(biāo)城市，其中每個(gè)城市必須而且只

25、須訪問一次。所要研究的問題是在所有可能的路徑,中尋找一條路程最短的路線。該問題是一個(gè)典型的NP問題，即隨著規(guī)模的增加，可行解的數(shù)目將做指數(shù)級(jí)增長。,,,TSP問題的分析,設(shè)所有與城市Ai距離最近的城市為Aj,,進(jìn)行一次如虛線所示的調(diào)整后,,多數(shù)情況下， l3較aj-1 + aj的減少量要大于l1 + l2較ai的增加量。,故：,,Begin:while (Conditions = True) 統(tǒng)計(jì)父代群體，確定最佳個(gè)

26、體：; 分解最佳個(gè)體，抽取免疫基因：; 執(zhí)行遺傳和免疫算子操作;end,免疫疫苗的選取方法,自適應(yīng)方法,之二,,Begin:鄰近城市序列初始化：Neighbor(i) = random(1, n) , i =1, …, n;最短子路徑的初始化：Sub_path(i) i =1,…, n;while (Conditions = True) for

27、 i = 1 to n 變異： Neighbor(i) = Floor(Gauss(Neighbor(i), 1 ) ) ; 選擇：if Distance(City_ i, Neighbor(i))< Min_distance(i) then Sub_path(i) = Neighbor(i);

28、 Min_distance(i) = Distance(City_ i, Neighbor(i)); end endend,免疫疫苗的選取方法,進(jìn)化規(guī)劃方法,之三,,,,仿真實(shí)驗(yàn),基于IA的TSP求解,之一,a. 免疫抗體b. 最優(yōu)化路徑75城市的TSP問題免疫優(yōu)化仿真示意圖,,,,子代適應(yīng)度值隨進(jìn)化過程的變化曲線,a 通用遺傳算法計(jì)算曲線b 免

29、疫算法計(jì)算曲線,,,,,仿真實(shí)驗(yàn),基于IS的TSP求解,之二,a. 免疫疫苗示意圖 b. 最優(yōu)路徑示意圖442城市的TSP問題免疫優(yōu)化仿真示意圖,,,,子代適應(yīng)度值隨進(jìn)化過程的變化曲線,a (?,2? )-ES計(jì)算曲線 b (? ,2? )-IS 計(jì)算曲線,,,仿真實(shí)驗(yàn),基于IE的函數(shù)優(yōu)化,之三,問題: 在(0,1)內(nèi)尋找 xmax使下式成立:,,,接受正常免疫疫苗時(shí)的計(jì)算曲線,(a) 基于E

30、P的進(jìn)化過程中個(gè)體分布圖;(b) 基于IP的進(jìn)化過程中個(gè)體分布圖(c) EP和IP所求得的最佳適應(yīng)度對比圖(d) EP和IP所求得的平均適應(yīng)度對比圖,,,免疫疫苗為 時(shí)的計(jì)算曲線,(a) 基于EP的進(jìn)化過程中個(gè)體分布圖;(b) 基于IP的進(jìn)化過程中個(gè)體分布圖(c) EP和IP所求得的最佳適應(yīng)度對比圖(d) EP和IP所求得的平均適應(yīng)度對比圖,,,免疫神經(jīng)網(wǎng)絡(luò)的研究,第二部分,,自然免疫網(wǎng)絡(luò),?

31、生物學(xué)免疫網(wǎng)絡(luò)原型： Jerne: 免疫系統(tǒng)是通過自我識(shí)別和相互刺激與約束而構(gòu)成的一個(gè)動(dòng)態(tài)平衡的網(wǎng)絡(luò)結(jié)構(gòu)。? 免疫應(yīng)答 ( 免疫耐受與記憶 );? Varela 的免疫網(wǎng)絡(luò)模型：,系統(tǒng)的動(dòng)力學(xué)部分；系統(tǒng)的元?jiǎng)恿W(xué)部分；系統(tǒng)的免疫恢復(fù)機(jī)制(IRM).,,,免疫神經(jīng)網(wǎng)絡(luò)的生物學(xué)特征,?一個(gè)完整的神經(jīng)元由細(xì)胞體、樹突、軸突、突觸和神經(jīng)末梢等幾大部分構(gòu)成，其中細(xì)胞體是神經(jīng)元的主體。?人的腦系統(tǒng)大約由1011

32、個(gè)神經(jīng)元組成。這些神經(jīng)元雖然在物理結(jié)構(gòu)上是基本一致的，但其功能和在系統(tǒng)中所發(fā)揮的作用是有明顯差別的。? 生物免疫系統(tǒng)具有記憶功能以及自學(xué)習(xí)、自組織和自適應(yīng)的能力。,,人工免疫神經(jīng)網(wǎng)絡(luò)的研究,?已有人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)。?利用先驗(yàn)知識(shí)改進(jìn)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的嘗試：? Stork，1992年，奇偶校驗(yàn)問題。? Kryghyak，1993年，奇偶校驗(yàn)問題。? 吳佑壽，1996年，奇偶校驗(yàn)和對稱性校驗(yàn)的 問題。

33、,,一種免疫神經(jīng)網(wǎng)絡(luò)模型,,免疫神經(jīng)網(wǎng)絡(luò)中激勵(lì)函數(shù)的選取方法,?分析待求問題的過程，搜集特征信息，再根據(jù)先驗(yàn)知識(shí)找出輸入變量之間的相互約束關(guān)系；?設(shè)計(jì)激勵(lì)單元的基本類型。即根據(jù)上述約束關(guān)系，選取一種適當(dāng)?shù)暮写▍?shù)的函數(shù)族；?根據(jù)第?步所提取的疫苗填充疫苗接種單元；?選取一種網(wǎng)絡(luò)學(xué)習(xí)算法，如LMS和改進(jìn)的BP算法等，利用訓(xùn)練樣本來修正網(wǎng)絡(luò)中的權(quán)值矩陣和閥值等相關(guān)參數(shù)。,,免疫神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)算法,?將激勵(lì)函數(shù)中的參數(shù)V

34、當(dāng)作網(wǎng)絡(luò)訓(xùn)練的目標(biāo)之一；?采用成批訓(xùn)練和添加動(dòng)量項(xiàng)的方法來訓(xùn)練網(wǎng)絡(luò)權(quán)值和激勵(lì)函數(shù)中的參數(shù)。,,免疫神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)實(shí)例,,雙螺旋線問題的求解,,,設(shè)螺旋線的參數(shù)方程形式為：,由此可得：,雙螺旋線問題的求解,,設(shè)計(jì)激勵(lì)單元的基本類型：,雙螺旋線問題的求解,,解決雙螺旋線的免疫神經(jīng)網(wǎng)絡(luò)的形式為：,雙螺旋線問題的仿真結(jié)果,,,帶有隨機(jī)干擾的兩類螺旋線：,免疫進(jìn)化子波網(wǎng)絡(luò)模型,,網(wǎng)絡(luò)方程：,,免疫進(jìn)化子波網(wǎng)絡(luò)模型,目標(biāo)函數(shù)：,子波函數(shù)的參數(shù)初

35、始化,?確定一個(gè)母波函數(shù)以及對特定目標(biāo)信號(hào)的伸縮、平移參數(shù)的取值范圍；?利用免疫進(jìn)化算法進(jìn)行優(yōu)化搜索；? 獲得一組有利于分類識(shí)別的信號(hào)子波特征。,,子波網(wǎng)絡(luò)的學(xué)習(xí)算法,?初始化。將任意選取n組權(quán)值以及初始化后的子波基參數(shù)做為初始群體；?根據(jù)先驗(yàn)知識(shí)抽取疫苗H。根據(jù)對問題的先驗(yàn)知識(shí)或其應(yīng)用背景方面的特征信息，來確定個(gè)體在某些基因上的取值特征或基因之間的相互制約關(guān)系，并以此做為待求問題的免疫疫苗，經(jīng)編碼處理后即可視為H；另一

36、方面，若以上條件尚不具備，我們即可采用算法2來動(dòng)態(tài)尋找H，并將該過程置于第4與第5步驟之間進(jìn)行；,,學(xué)習(xí)算法（續(xù)）,?計(jì)算當(dāng)前群體中所有個(gè)體的適應(yīng)度，并從中確定最佳個(gè)體，然后判斷停機(jī)條件是否滿足；?對當(dāng)前群體實(shí)施變異操作；? 對當(dāng)前群體實(shí)施接種疫苗操作；? 對接種了疫苗的個(gè)體進(jìn)行檢驗(yàn)，并對所注射的疫苗做出評(píng)價(jià)；?計(jì)算當(dāng)前群體中所有個(gè)體的適應(yīng)度，并以此為根據(jù)在一定的選擇機(jī)制下，挑選出n個(gè)個(gè)體組成下一代進(jìn)化的群體，然后轉(zhuǎn)至

37、第3步。,,雙螺旋線問題的仿真結(jié)果,,,帶有隨機(jī)干擾的兩類螺旋線：,,免疫理論的應(yīng)用研究,第三部分,計(jì)算機(jī)免疫系統(tǒng)的研究,,計(jì)算機(jī)網(wǎng)絡(luò)模型示意圖,? 隨著現(xiàn)代計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和信息技術(shù)的高速發(fā)展，特別是Internet在全球領(lǐng)域的推廣，計(jì)算機(jī)信息系統(tǒng)的安全日漸突出；? 從功能上分析，計(jì)算機(jī)（網(wǎng)絡(luò)）系統(tǒng)一般包括信息的傳輸與變換兩個(gè)方面。由于這兩方面對信息處理的目的不同，所以它們對安全性的要求也不一樣。?就傳輸過程而言，系統(tǒng)要求防

38、止外界自然因素對信息的影響和人為因素的監(jiān)聽、截獲和施擾；?在對信息的轉(zhuǎn)換和處理過程中，主要預(yù)防黑客的入侵和病毒的破壞。,,計(jì)算機(jī)免疫系統(tǒng)的研究,? 先天免疫性 ? 自適應(yīng)免疫性 ? 信息發(fā)布的快速性? 可測量性 ? 安全與可靠性 ? 用戶可控性,,免疫系統(tǒng)的設(shè)計(jì)原則,,信息傳輸免疫系統(tǒng),信息傳輸免疫系統(tǒng)示意圖,,信息傳輸免疫系統(tǒng),信息序列的基帶信號(hào)：,偽隨

39、機(jī)信號(hào)：,調(diào)制后發(fā)送信號(hào)：,,信息傳輸免疫系統(tǒng),接收段信號(hào)：,經(jīng)偽隨機(jī)解調(diào)信號(hào)：,經(jīng)過解調(diào)輸出的干擾信號(hào)總能量：,,信息處理免疫系統(tǒng),計(jì)算機(jī)人工免疫系統(tǒng)結(jié)構(gòu)示意圖,,終端層各單元的功能,? 病毒檢測 指在終端機(jī)或單獨(dú)的計(jì)算機(jī)上進(jìn)行針對病毒代碼和信息異常變化的檢測，所采取的主要技術(shù)包括病毒特征碼的掃描技術(shù)和系統(tǒng)信息跟蹤技術(shù)；? 獲取樣本病毒 在單機(jī)系統(tǒng)內(nèi)部散布一些“誘餌”程序并監(jiān)測其變化情況，將被改變程序中的相關(guān)代碼與已知

40、病毒代碼進(jìn)行比對處理，從中獲取相應(yīng)的、新的病毒樣本。這一過程即為后面即將介紹的誘餌算法的基本思路；? 病毒清除 清除由病毒檢測過程和“誘餌”算法所查獲的新舊病毒，然后記錄操作情況并發(fā)出警告；? 信息修復(fù) 根據(jù)上一級(jí)免疫系統(tǒng)提供的修復(fù)程序?qū)Σ《酒茐牡男畔⑦M(jìn)行自主式修復(fù)。,,局域?qū)痈鲉卧墓δ?? 系統(tǒng)監(jiān)控 系統(tǒng)隨時(shí)監(jiān)測本系統(tǒng)內(nèi)信息的變化情況，遇有異常跡象則釋放“誘餌”并跟蹤和記錄該信息的變化過程，以判斷其操作的合法性。?

41、 系統(tǒng)報(bào)警 當(dāng)判斷信息的變化過程確屬異?；蚍欠〞r(shí)，鎖定信息并向上一層或管理人員報(bào)警；另外，系統(tǒng)根據(jù)本層病毒特征提取的情況確定是否向下層發(fā)出新型病毒入侵的警報(bào)。? 病毒特征提取 系統(tǒng)響應(yīng)下層上報(bào)的病毒報(bào)警信息，從病毒樣本中提取病毒代碼。然后將其與廣域?qū)拥牟《緮?shù)據(jù)庫進(jìn)行對比，屬于新代碼則上傳給廣域?qū)舆M(jìn)行病毒數(shù)據(jù)庫的更新。,,廣域?qū)痈鲉卧墓δ?? 系統(tǒng)信息發(fā)布 根據(jù)局域?qū)由蠄?bào)的信息異常變化警報(bào)，決定是否將其跟蹤和記錄變化過程的

42、數(shù)據(jù)向下層發(fā)布；定期和不定期向下層發(fā)布新型病毒特征代碼和一些修復(fù)程序。? 修復(fù)程序生成 根據(jù)信息遭受破壞的過程記錄及其特點(diǎn)，人為或自動(dòng)地生成相應(yīng)的信息修復(fù)程序。? 病毒數(shù)據(jù)庫更新 根據(jù)下層上報(bào)的病毒特征代碼更新當(dāng)前的全局病毒數(shù)據(jù)庫（添補(bǔ)新型病毒代碼和刪除一些長期不用的代碼）。,,病毒監(jiān)測算法,,異常變化監(jiān)測算法,,廣域?qū)痈鲉卧墓δ?? 系統(tǒng)信息發(fā)布 根據(jù)局域?qū)由蠄?bào)的信息異常變化警報(bào)，決定是否將其跟蹤和記錄變化過程的數(shù)據(jù)

43、向下層發(fā)布；定期和不定期向下層發(fā)布新型病毒特征代碼和一些修復(fù)程序。? 修復(fù)程序生成 根據(jù)信息遭受破壞的過程記錄及其特點(diǎn)，人為或自動(dòng)地生成相應(yīng)的信息修復(fù)程序。? 病毒數(shù)據(jù)庫更新 根據(jù)下層上報(bào)的病毒特征代碼更新當(dāng)前的全局病毒數(shù)據(jù)庫（添補(bǔ)新型病毒代碼和刪除一些長期不用的代碼）。,,基于免疫策略RBF的多用戶監(jiān)測,? CDMA系統(tǒng)相對于以前的TDMA和FDMA系統(tǒng)來說具有很多突出的優(yōu)點(diǎn)。? 僅有時(shí)域處理能力的CDMA系統(tǒng)存在諸

44、如遠(yuǎn)近效應(yīng)、多址干擾等缺陷。? 自適應(yīng)天線可以在空域方面進(jìn)一步改善傳統(tǒng)CDMA系統(tǒng)的通信能力。,,空時(shí)信號(hào)模型,用戶k 的基帶信號(hào)：,用戶k 的特征波形：,用戶k 的發(fā)送信號(hào)：,,空時(shí)信號(hào)模型,多徑信號(hào)的基 帶沖激響應(yīng)：,用戶k 經(jīng)第l條路徑到達(dá)天線陣列的方向向量：,天線陣列所接收到的信號(hào)：,,空時(shí)二維接收機(jī),? 一個(gè)空時(shí)二維處理器即為空時(shí)接收調(diào)制解調(diào)器，它同時(shí)對所有的天線工作，并在時(shí)間和空間兩個(gè)域處理所接收的信

45、號(hào)。一個(gè)典型的空時(shí)匹配濾波器一般為兩極結(jié)構(gòu)。其中，前一級(jí)結(jié)構(gòu)主要用作對接收信號(hào)的時(shí)域匹配濾波；后級(jí)結(jié)構(gòu)則對時(shí)域處理過的信號(hào)再進(jìn)行空域匹配濾波處理。,,空時(shí)信號(hào)模型,信號(hào)經(jīng)時(shí)域匹配濾波處理后的中間結(jié)果為：,經(jīng)空域匹配濾波處理：,空時(shí)匹配濾波器的輸出：,,空時(shí)多用戶檢測器,利用Cameron-Martin公式，我們可以將基于所有用戶數(shù)據(jù)b的對接收信號(hào)r(t)的似然函數(shù)寫成如下形式：,其中：,,空時(shí)多用戶檢測器,使似然函數(shù)最大化的過程即可轉(zhuǎn)

46、化為使最大化：,問題實(shí)質(zhì)上是一個(gè)多目標(biāo)參數(shù)的組合優(yōu)化問題，若用Viterbi算法來對其進(jìn)行對數(shù)最大似然估計(jì)，則計(jì)算復(fù)雜度一般為 ，故是一個(gè)完備的NP問題。,,基于免疫策略的RBF網(wǎng)絡(luò),RBF網(wǎng)絡(luò)的一般結(jié)構(gòu),1. 根據(jù)經(jīng)驗(yàn)隨機(jī)地選擇固定的中心；2. 根據(jù)聚類方法自組織地選取中心；3.有監(jiān)督地選擇中心（廣義徑向基函數(shù)網(wǎng)絡(luò)）。? 以上三種算法中，采用第三類算法訓(xùn)練的RBF網(wǎng)絡(luò)性能最好，但是由于它采用的

47、是梯度下降算法，其訓(xùn)練過程較長，很容易陷入局部極小。,,RBF網(wǎng)絡(luò)的學(xué)習(xí)策略,,基于免疫策略的RBF網(wǎng)絡(luò),疫苗提取算法：? 如果隱層節(jié)點(diǎn)的個(gè)數(shù)為M，則隨機(jī)地從訓(xùn)練數(shù)據(jù)集中選取M個(gè)中心。? 根據(jù)?的不同取值計(jì)算隱層節(jié)點(diǎn)相應(yīng)于訓(xùn)練數(shù)據(jù)集的輸出矩陣G根據(jù)矩陣方程(Gw = d)， 采用最小二乘法估計(jì)RBF網(wǎng)絡(luò)的輸出線性權(quán)值矩陣w。? 比較?取不同的值時(shí)，采用上述方法構(gòu)造的不同RBF網(wǎng)絡(luò)相應(yīng)于訓(xùn)練數(shù)據(jù)集的均方誤差。以使得均方誤差最小的?的

48、取值為中心，在一定范圍內(nèi)重復(fù)步驟1和步驟2。,,,基于免疫策略的RBF網(wǎng)絡(luò),,基于RBF網(wǎng)絡(luò)的多用戶檢測器示意圖,http://www.elecfans.com,,RBF網(wǎng)絡(luò)的免疫策略學(xué)習(xí)算法,? 隨機(jī)產(chǎn)生一組分布，采用某種編碼方案對該組中的每個(gè)權(quán)值（或閾值）進(jìn)行編碼，從而構(gòu)造出一個(gè)個(gè)碼鏈（每個(gè)碼鏈代表網(wǎng)絡(luò)的一種權(quán)值分布）。? 根據(jù)經(jīng)驗(yàn)或針對具體問題的先驗(yàn)知識(shí)來大致地確定方差的大致取值范圍，以此作為當(dāng)前問題的免疫疫苗。? 對當(dāng)前

49、群體進(jìn)行交叉和變異算子操作，產(chǎn)生下一代的準(zhǔn)個(gè)體。? 從當(dāng)前的群體中隨機(jī)地選取一定數(shù)量的個(gè)體進(jìn)行疫苗注射。? 對所產(chǎn)生的網(wǎng)絡(luò)計(jì)算它的誤差函數(shù)，從而確定其適應(yīng)度函數(shù)值。? 根據(jù)網(wǎng)絡(luò)的適應(yīng)度選擇若干個(gè)個(gè)體作為下一代群體。判斷終止條件是否滿足：是，則停止運(yùn)行并將當(dāng)前最優(yōu)個(gè)體所代表的網(wǎng)絡(luò)參數(shù)作為最終的訓(xùn)練結(jié)果；否，則轉(zhuǎn)至第?步繼續(xù)運(yùn)行。,,,a. 8用戶b. 16用戶用戶1的信噪比與誤碼率的關(guān)系曲線,,基于RBF網(wǎng)絡(luò)的多用戶