1.基于模糊訓(xùn)練數(shù)據(jù)的支持向量機(jī)與模糊線性回歸

1、近期科研匯報(bào),報(bào)告人： 紀(jì)愛兵,匯報(bào)內(nèi)容：,第一部分：基于模糊訓(xùn)練數(shù)據(jù)的支持向量機(jī)與模糊線性回歸第二部分：基于模糊Choquet積分的非線性模糊回歸,1.問(wèn)題提出,支持向量機(jī)（SVM）（Support Vector Machine）是Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的通用學(xué)習(xí)方法，支持向量機(jī)分為分類型支持向量機(jī)和回歸型支持向量機(jī)，在分類型支持向量機(jī)中，訓(xùn)練樣本的輸入是實(shí)數(shù)值向量，輸出是類別，用表示

2、 。,1.問(wèn)題提出,考慮到訓(xùn)練樣本集中的噪音，Chun-fu Lin[4]引入了一種模糊支持向量機(jī)，其訓(xùn)練樣本的輸入仍是實(shí)數(shù)值向量，輸出是帶有隸屬度的類別，他用一個(gè)隸屬度來(lái)表示一個(gè)訓(xùn)練樣本隸屬于正類或負(fù)類的程度，但本質(zhì)上來(lái)說(shuō)，它還是Vapnik 意義上的普通支持向量機(jī)。,,,1.問(wèn)題提出,事實(shí)上，由于噪音和測(cè)量的誤差，訓(xùn)練樣本數(shù)據(jù)常常是不確定的或是模糊的，對(duì)于訓(xùn)練數(shù)據(jù)是模糊數(shù)據(jù)的情況迄今尚無(wú)人研究，因此研究基于模糊訓(xùn)練數(shù)據(jù)的支持向量機(jī)非

3、常有意義。在本文中，我們將首次引入訓(xùn)練數(shù)據(jù)是模糊數(shù)的分類型支持向量機(jī)的理論，主要包括模糊線性可分和模糊近似線性可分的概念以及基于模糊訓(xùn)練樣本的支持向量機(jī)的數(shù)學(xué)模型，并給出它的求解方法。,1.問(wèn)題提出,而普通的支持向量機(jī)是它的一個(gè)特殊情況。然后將此方法應(yīng)用于冠心病的鑒別診斷。最后，我們應(yīng)用基于模糊訓(xùn)練數(shù)據(jù)的支持向量機(jī)理論來(lái)研究模糊線性回歸問(wèn)題，給出了模糊輸入、模糊輸出的模糊線性回歸問(wèn)題的一種新的解法。,2.準(zhǔn)備知識(shí),這里主要給出兩分類型

4、支持向量機(jī)的有關(guān)知識(shí)，對(duì)于訓(xùn)練樣本集： 分別表示正類和負(fù)類。如果存在(w,b)使得 （1）則稱訓(xùn)練樣本是線性可分的。（1）式可以簡(jiǎn)化為 （2）分類的決策規(guī)則為：,,,,,,,2.準(zhǔn)備知識(shí),為了使得決策規(guī)則具有好的推廣能力，我們應(yīng)使分類間隔最大，以上

5、機(jī)器學(xué)習(xí)的問(wèn)題可轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問(wèn)題：此問(wèn)題有全局最優(yōu)解，它的對(duì)偶問(wèn)題為：,,2.準(zhǔn)備知識(shí),Maximize s.t.當(dāng)樣本不是線性可分時(shí)，我們可以通過(guò)一個(gè)映射將數(shù)據(jù)映射到一個(gè)高維特征空間H，并在高維特征空間上構(gòu)造分類超平面。,,,2.準(zhǔn)備知識(shí),記稱 為核函數(shù) 考慮到一些樣本可能被錯(cuò)分，我們引進(jìn)松弛變量 。則此問(wèn)題可轉(zhuǎn)化 這

6、里 C為懲罰參數(shù)，它可以平衡最大間隔和錯(cuò)分樣本。以上二次規(guī)劃 的對(duì)偶問(wèn)題為：,,,,,,2.準(zhǔn)備知識(shí),Maximize s.t. (8)此時(shí)的決策函數(shù)為：,,,,3 模糊數(shù)和可能性測(cè)度,定義3.1 設(shè) X為非空集，P(X) 為X的冪集, 映射P

7、os: P(X) [0,1], 如果滿足：(1) Pos( )=0 (2) Pos(X)=1 (3) Pos( )= Pos( )則稱Pos為可能性測(cè)度。定義3.2 設(shè) 為模糊數(shù)，它的隸屬函數(shù)為：,,,,,,,,,3 模糊數(shù)和可能性測(cè)度,(其中 為實(shí)數(shù))，則稱為三角形模糊數(shù)，記為 (

8、 )。定義 3.3 設(shè) 為模糊數(shù),模糊事件的可能性測(cè)度定義為： 特殊地, 當(dāng)b 為實(shí)數(shù)時(shí)，模糊事件的可能性測(cè)度為： 。類似地,

9、 。,,,,,,,,,,3 模糊數(shù)和可能性測(cè)度,如果 均為模糊數(shù)，則稱 為n維模糊數(shù)向量，以 表示n維模糊數(shù)向量的全體。特別地，如果 均為三角形模糊數(shù)，則 稱為n維三角形模糊數(shù)向量。以 表示n維三角形模糊數(shù)向

10、量的全體。 由Zadeh擴(kuò)展原則，對(duì)于n元函數(shù)f: 和模糊數(shù)向量 ， 為模糊數(shù)，其隸屬函數(shù)為：,,,,,,,,,,,3 模糊數(shù)和可能性測(cè)度,特別地，當(dāng) 為模糊數(shù)時(shí)，類似可定義 且易得：定理3.1 設(shè) ，

11、 為三角形模糊數(shù), 為實(shí)數(shù)，則 (1) ; (2),,,,,,,,3 模糊數(shù)和可能性測(cè)度,定理 3.2 設(shè) 為三角形模糊數(shù)，則定理 3.3 設(shè) 為三角形模糊數(shù)，則對(duì)給定的置信水平 , , 等價(jià)于 :

12、 。,,,,,,4. 基于模糊訓(xùn)練數(shù)據(jù)的分類型支持向量機(jī),考慮模糊訓(xùn)練樣本S= , 其中, , , 當(dāng) 稱為正類；當(dāng) 則稱

13、 為負(fù)類，基于模糊訓(xùn)練樣本集 S= 的分類就是尋找一個(gè)決策函數(shù) ，使得正類和負(fù)類能以最低的分類錯(cuò)誤被分開并且具有好的推廣能力。4.1 基于模糊線性可分訓(xùn)練樣本集的支持向量機(jī),,,,,,,,,4. 基于模糊訓(xùn)練數(shù)據(jù)的分類型支持向量機(jī),定義4.1 對(duì)模糊訓(xùn)練樣本集S= , 如果對(duì)給定的置信水

14、平 ，存在 ，使得 (9)則稱模糊訓(xùn)練樣本集S= 是關(guān)于置信水平 模糊線性可分的。定理 4.1 如果模糊訓(xùn)練樣本集S=

15、 是關(guān)于置信水平 為模糊線性可分的，,,,,,,,,,,4. 基于模糊訓(xùn)練數(shù)據(jù)的分類型支持向量機(jī),其中 且 為三角形模糊數(shù)，則式（9）等價(jià)于

16、 (10)(證明略） 基于模糊現(xiàn)行可分訓(xùn)練樣本集的支持向量機(jī)就是求解以下模糊機(jī)會(huì)約束規(guī)劃： s.t.

17、 (11),,,,,,,,4. 基于模糊訓(xùn)練數(shù)據(jù)的分類型支持向量機(jī),我們可以利用混合智能算法[17，18]，求解模糊機(jī)會(huì)約束規(guī)劃（11）。由定理4.1模糊機(jī)會(huì)約束規(guī)劃（11）可以轉(zhuǎn)化為以下經(jīng)典的凸二次規(guī)劃問(wèn)題： s.t .

18、 (12) （12）的對(duì)偶問(wèn)題為： Maximize (13),,,,4. 基于模糊訓(xùn)練數(shù)據(jù)的分類型支持向量機(jī),s.t.這里 , 其中 為規(guī)劃 (13)的解4.2.

19、 基于近似模糊線性可分訓(xùn)練樣本集的支持向量機(jī) 考慮到可能有一些樣本被錯(cuò)分（按置信水平 ，不滿足（9）式），我們引進(jìn)松弛變量 ，其中 。對(duì)模糊訓(xùn)練樣本集S= ，如果對(duì)給定的置信水平 ，如果存在 , 使得 ，則稱模糊訓(xùn)練樣本集 S關(guān)于

20、置信水平 為近似模糊線性可分的。,,,,,,,,,,,,,,4. 基于模糊訓(xùn)練數(shù)據(jù)的分類型支持向量機(jī),為了求 ，我們可以用混合智能算法求解下面模糊機(jī)會(huì)約束規(guī)劃：s.t. (14)類似地，利用定理4.1，以上模糊機(jī)會(huì)約束規(guī)劃可轉(zhuǎn)化為下面的經(jīng)典凸二次規(guī)劃問(wèn)題：,,,,4. 基于模糊訓(xùn)練數(shù)據(jù)的分

21、類型支持向量機(jī),s.t . (15) (其中C為懲罰參數(shù))。規(guī)劃（15）的對(duì)偶問(wèn)題為： Maximize s. t. (16),,,,,4. 基于模糊訓(xùn)練數(shù)據(jù)的分

22、類型支持向量機(jī),可以利用優(yōu)化軟件如Lingo來(lái)求解規(guī)劃問(wèn)題（15）（16），得到 。 則對(duì)于未知類別的樣本，其決策規(guī)則為：若對(duì) 給定的置信水平 , 如果 , 則 為正類 ；如果 , 則

23、 為負(fù)類。應(yīng)用實(shí)例 下面，我們將應(yīng)用以上基于模糊訓(xùn)練樣本的兩分類支持向量機(jī)的理論于冠心病的鑒別診斷。我們收集了34名患者的資料，以24名患者的資料作為訓(xùn)練樣本，其中一半為正常人，表示為 =1，另一半為冠心病患者，表示為 =-1，數(shù)據(jù)見表1，其中 舒張期血壓， 表示血漿膽固醇含量，且 和 為三角形模糊數(shù)。,,,,,,,,,,,,,,,,,,4. 基于

24、模糊訓(xùn)練數(shù)據(jù)的分類型支持向量機(jī),表1：冠心病人和正常人舒張期血壓和血漿膽固醇含量數(shù)據(jù),4. 基于模糊訓(xùn)練數(shù)據(jù)的分類型支持向量機(jī),取參數(shù)C=0.1, ，利用以上數(shù)據(jù)來(lái)訓(xùn)練以上規(guī)劃（15）或（16），可得解 , b=-6.962587, 則可以得到冠心病的鑒別診斷規(guī)則：對(duì)給定的置信水平 , 如果

25、 , 則 為冠心病患者； 如果 ,則 為正常人。利用此鑒別診斷規(guī)則來(lái)擬合表1種的數(shù)據(jù)，只有三例被錯(cuò)分，診斷正確率為87.5%。用另外10例患者的資料作為測(cè)試樣本，經(jīng)測(cè)試正確率為90%。由此充分說(shuō)明基于模糊訓(xùn)練樣本的支持向量機(jī)具有好的擬合效果和高的預(yù)測(cè)精度。,,,,,,,,5. 基于模糊

26、支持向量機(jī)的模糊線性回歸,設(shè)輸入 為模糊數(shù)向量, 輸出為模糊數(shù) 。 為簡(jiǎn)單起見，我們?cè)O(shè) ) 和 均為三角型模糊數(shù)。所謂模糊線性回歸就是確定關(guān)系: 對(duì)于模糊訓(xùn)練集S= , 其中 ,

27、 。對(duì)給定的 , 令 為正類集， 為負(fù)類集。,,,,,,,,,,,,5. 基于模糊支持向量機(jī)的模糊線性回歸,以 為模糊訓(xùn)練集，則模糊線性回歸問(wèn)題可以轉(zhuǎn)化為基于模糊訓(xùn)練集的支持向量機(jī)的分類問(wèn)題。 如果關(guān)于置信水平 為模糊近似線性可分的, 則

28、由上面基于模糊訓(xùn)練集的支持向量機(jī)分類問(wèn)題的理論，我們只需解下面的模糊機(jī)會(huì)約束規(guī)劃： s.t. （19） 假定 , ,

29、 , 則與規(guī)劃(19)等價(jià)的經(jīng)典的二次規(guī)劃為：,,,,,,,,5. 基于模糊支持向量機(jī)的模糊線性回歸,s.t． （20） 用Lingo 80 求解以上二次規(guī)劃得 。

30、 由定理3.4， 規(guī)劃（19）的約束條件等價(jià)于：,,,,,5. 基于模糊支持向量機(jī)的模糊線性回歸,則在置信水平 下，得到關(guān)系: 或 則應(yīng)用實(shí)例 利用文獻(xiàn)[28]中的數(shù)據(jù)作為模糊訓(xùn)練集，見表2，當(dāng)參數(shù)C=0.1, , 求解二次規(guī)劃（20），可得模糊線性回歸

31、關(guān)系：且當(dāng) ， 即 , 為經(jīng)典實(shí)數(shù)時(shí)，恰好與普通的線性回歸相一致。,,,,,,,,,,,5. 基于模糊支持向量機(jī)的模糊線性回歸,表2,6. 結(jié)論,本文討論了訓(xùn)練數(shù)據(jù)為模糊數(shù)的支持向量機(jī)分類理論，并且給出了具體的求解方法，它極大擴(kuò)展了普通支持向量機(jī)的理論和應(yīng)用范

32、圍，V.N. Vapnik的支持向量機(jī)是它的一個(gè)特殊形式。并且，我們應(yīng)用基于模糊訓(xùn)練數(shù)據(jù)的支持向量機(jī)分類理論，通過(guò)將模糊線性回歸問(wèn)題轉(zhuǎn)化為基于模糊訓(xùn)練數(shù)據(jù)的支持向量機(jī)分類問(wèn)題 給出了一種求解模糊線性回歸的新方法。進(jìn)一步我們將研究非可分模糊訓(xùn)練數(shù)據(jù)的支持向量機(jī)理論。,References,[1] V.N. Vapnik, The Nature of Statistical Learning Theory,Springer-Verlag,

33、New York, 1995.[2] V.N. Vapnik, Statistical Learning Theory, Wiley, New York,1998.[3] C. Cortes, V.N. Vapnik, Support vector networks, Mach.Learn. 20 (3) (1995) 273–297.[4] Chun-fu Lin, Sheng-de Wang ，Training algorit

34、hms for fuzzy support vector machines with noisy data，Pattern Recognition Letters 25 (2004) 1647–1656[5] J.M. Keller, D.J. Hunt, Incorporating fuzzy membershipfunctions into the perceptron algorithm, IEEE Trans. PAMI7 (

35、1985) 693–699.[6] J.-H. Chen, C.-S. Chen, Fuzzy kernel perceptron, IEEE Trans.Neural Networks 13 (6) (2002) 1364–1373.[7] W. Shitong, Fuzzy Systems and Fuzzy Neural Networks and Their Programming, Press of Shanghai S

36、cience and technologies, Shanghai, 1998 (1st ed.), 2000 (2nd ed.).[8] C. Angulo, X. Parra, A. Catala, K-SVCR: a support vector machine for multiclass classification, J. Neurocomput., in press (download the paper from h

37、ttp://www.computerscienceWeb.com).[9] D. Tsujinishi, S. Abe, Fuzzy least square SVM for multiclass problems, J. Neural Networks 16 (2003) 785–792.[10] Tomonori Kikuchi, Shigeo Abe, Comparison between error correcting

38、output codes and fuzzy support vector machines,Pattern Recognition Letters 26 (2005) 1937–1945[11] Daisuke Tsujinishi,Shigeo Abe, Fuzzy least squares support vector machines for multiclass problems, Neural Networks 16(2

39、003)785-792[12] Dug Hun Hong,Changha Hwang, Support vector fuzzy regression machines, Fuzzy Sets and Syetems 138(2003) 271-281,References,[13] Jin-TsongJeng,Chen-Chia Chuang,Shun-FengSu, Support vector interval regressi

40、on networks for interval regression analysis, Fuzzy Sets and Systems 138 (2003) 283–300[14] Zadeh LA. Fuzzy sets as a basis for a theory of possibility. Fuzzy Sets and Systems 1978;1:3–28.[15] Dubois D, Prade H. Possib

41、ility theory. New York: Plenum Press; 1988.[16] Klir GJ. On fuzzy-set interpretation of possibility theory. Fuzzy Sets andSystems 1999;108:263–373.[17] Liu B. Uncertain programming. New York: Wiley; 1999.[18] Liu B. T

42、heory and practice of uncertain programming. Heidelberg: Physica; 2002.[19] Liu B. Minimax chance constrained programming models for fuzzy decision systems. Information Sciences 1998;112:25–38.[20] Liu B. Dependent-cha

43、nce programming in fuzzy environments. Fuzzy Sets and Systems 2000;109(1):97–106.[21] Liu B. Fuzzy random chance-constrained programming. IEEE Transactions on Fuzzy Systems 2001;9(5):713–20.[22] Liu B. Fuzzy random dep

44、endent-chance programming. IEEE Transactions on Fuzzy Systems 2001;9(5):721–6.[23] Liu YK, Liu B. Fuzzy random variable: a scalar expectedvalue operator. Fuzzy Optimization and Decision Making 2003;2(2):143–60.[24] P.

45、Diamond, Fuzzy least squares, Inform. Sci. 46 (1988) [25] H. Tanaka, Fuzzy data analysis by possibilistic linear models, Fuzzy Sets and Systems 24(1987) [26] H. Tanaka, S. Uejima, K. Asia, Linear regression analysis wi

46、th fuzzy model, IEEE Trans.Systems, Man Cybernet. [27] M. Sakawa, H. Yano, Multiobjective fuzzy linear regression analysis for fuzzy input–output data, Fuzzy Sets and Systems 47 (1992) [28] HSIEN-CHUNG Wu,Linear Regres

47、sion Analysis for Fuzzy Input and Output DataUsing the Extension Principle, Computers and Mathematics with Applications 45 (2003) [29] Scholkoph B,Smola A J,Bartlett P L, New support vector Algorithms, Neural Computati

48、on,2000,12（5）,本論文需進(jìn)一步考慮的工作,本文只是基于模糊訓(xùn)練數(shù)據(jù)的線性可分或近似線性可分的情況下的支持向量機(jī)理論。當(dāng)模糊訓(xùn)練數(shù)據(jù)集是非線性可分的情況下，是否可通過(guò)模糊核函數(shù)（經(jīng)典核函數(shù)通過(guò)Zadeh擴(kuò)展原理得到），映射到高維模糊模糊特征空間，從而得到基于模糊訓(xùn)練數(shù)據(jù)的一般支持向量機(jī)理論？在本文中，進(jìn)一步可考慮分類是模糊類或類與類之間界限不分明的基于模糊訓(xùn)練數(shù)據(jù)的支持向量機(jī)理論將文中的可能性測(cè)度Pos換為可信性測(cè)度是否會(huì)