基于代價敏感SVM的直接優(yōu)化F-measure算法研究.pdf

1、隨著社會的發(fā)展、科學(xué)的進(jìn)步，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等領(lǐng)域的研究正逐漸改變我們的生活。數(shù)據(jù)分類作為機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的重要組成部分，成為眾多學(xué)者的研究重點，人們提出了不同的分類算法來構(gòu)建不同的分類器。以二分類為例，當(dāng)樣本數(shù)據(jù)分布不平衡時，為了更準(zhǔn)確的度量分類器的性能，一般選用查準(zhǔn)率和查全率的調(diào)和平均——F-measure作為評估標(biāo)準(zhǔn)。由于F-measure在不平衡分類的廣泛應(yīng)用，如何設(shè)計出有效的面向F-measure的分類器是近年來的研究

2、熱點。但是由于F-measure的非凸性，直接優(yōu)化起來較為困難，現(xiàn)有的優(yōu)化算法主要通過代價敏感算法或者直接優(yōu)化算法構(gòu)造面向F-measure的學(xué)習(xí)器。不同于已有的研究，本文以SVM為工具，提出一種結(jié)合代價敏感和直接優(yōu)化F-measure的新型算法。
　　本文的主要工作如下:
　　(1)文中從二分類入手，介紹了基于支持向量機(jī)的二分類學(xué)習(xí)及不平衡二分類的度量標(biāo)準(zhǔn)F-measure，并在此基礎(chǔ)上，分析了現(xiàn)有代價敏感算法和直接優(yōu)化F

3、-measure算法的研究現(xiàn)狀，提出了一種將二者相融合的新方法。
　　(2)新方法首先給出了從最大化F-measure到代價敏感SVM的一個直接轉(zhuǎn)換。針對新的目標(biāo)函數(shù)具備非光滑從而導(dǎo)致傳統(tǒng)梯度優(yōu)化算法難以直接使用的特點，提出使用基于次梯度的束方法進(jìn)行求解。不僅可以解決上述問題，且算法的迭代次數(shù)僅為O（1/ε），不依賴于樣本數(shù)。不平衡數(shù)據(jù)集上的實驗表明:相比起已有面向F-measure的分類器，本文所提算法得到的模型明顯更加精確。<