基于空間旋轉(zhuǎn)的支持向量機(jī)改進(jìn)算法.pdf

1、隨著大數(shù)據(jù)時代的到來，龐大的數(shù)據(jù)量給人們帶來無限商機(jī)，也引起了學(xué)術(shù)界、企業(yè)界及政府機(jī)構(gòu)的高度重視。但數(shù)據(jù)的復(fù)雜性和多樣性也導(dǎo)致數(shù)據(jù)價值密度不高，冗余數(shù)據(jù)較多等問題。如何從龐大的數(shù)據(jù)集中提取有效信息以輔助數(shù)據(jù)分析已成為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域研究的焦點。
　　數(shù)據(jù)挖掘的一個重要研究內(nèi)容是特征選擇和特征提取。其中，主成分分析算法是一種常見的特征提取方法，它通過計算協(xié)方差達(dá)到特征提取的目的。支持向量機(jī)最初是一種用于對數(shù)據(jù)進(jìn)行類別劃分和預(yù)測

2、的機(jī)器學(xué)習(xí)算法，通過在一個高維空間中尋找一個超平面，使得分布于超平面同一側(cè)的數(shù)據(jù)盡可能屬于同一個類別。
　　本文通過對支持向量機(jī)算法做深入研究后，發(fā)現(xiàn)支持向量機(jī)算法也可以被用于特征提取。借鑒主成分分析算法中的旋轉(zhuǎn)思想，本文提出了一種基于支持向量機(jī)、空間旋轉(zhuǎn)與坐標(biāo)投影的特征提取方法;然后用皮爾森相關(guān)系數(shù)驗證單個特征的有效性;最后使用主流分類器驗證所提取特征的有效性。
　　實驗結(jié)果表明，本算法在樣本集上提取到的前3個特征與分類標(biāo)

3、簽均有顯著的相關(guān)性，而第3個以后的特征與類標(biāo)簽的相關(guān)性極弱。在不同分類器的分類結(jié)果中，當(dāng)使用經(jīng)旋轉(zhuǎn)空間特征提取算法處理后的特征時，分類結(jié)果在77％的樣本集上獲得了比當(dāng)使用PCA算法處理后的特征時更高的預(yù)測正確率，在超過88％的樣本集上獲得了比直接使用源數(shù)據(jù)時更高的預(yù)測正確率;特別是當(dāng)使用樸素貝葉斯算法時，在本算法處理后的特征上比直接在源數(shù)據(jù)上正確率高出近14％;當(dāng)使用單層決策樹時，在本算法處理后的特征上比在經(jīng)PCA處理后的特征上預(yù)測正確