核矩陣近似的研究及其在支持向量機(jī)中的應(yīng)用.pdf

1、近年來，由于互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，人工智能越來越受到人們的重視。然而由于數(shù)據(jù)的爆炸式增長，機(jī)器學(xué)習(xí)所面臨的問題規(guī)模也越來越大，大規(guī)模核矩陣的計算和存儲已經(jīng)成為了主要核方法如支持向量機(jī)泛化能力的主要瓶頸。針對這一問題，研究人員提出了各種方法對核矩陣進(jìn)行逼近。
　　核矩陣近似算法的核心思想是用部分采樣取代所有的數(shù)據(jù)計算核矩陣，這樣就大大減少了所需要的時間和內(nèi)存空間，其中最簡單并且使用最多的就是Nystrom矩陣逼近方法。然而由于這種方

2、法選取的樣本點是隨機(jī)抽樣的，因此不可避免對逼近誤差造成了較大影響。因此，研究者提出了一些改進(jìn)算法，如集成Nystrom，其主要思想為增加采樣點來減少誤差;同時，也有一些其他方法，將聚類的思路融入到Nystrom方法中，同時考慮了核矩陣的低秩結(jié)構(gòu)和聚類結(jié)構(gòu)，如MEKA方法。
　　可以看出，核矩陣近似方法的重點在于兩方面，一方面是如何取樣，另一方面是能否利用核矩陣的其他信息。因此，根據(jù)支持向量機(jī)的特點，將類標(biāo)信息和決策邊界信息作為核矩

3、陣近似算法的參考依據(jù)，以提高支持向量機(jī)的效率是一個值得嘗試的思路。
　　本文詳細(xì)介紹了支持向量機(jī)的思想和原理，以及已有幾種主要的核矩陣近似方法，并且提出了一種基于協(xié)同聚類的Nystrom核矩陣近似算法，協(xié)同聚類是一種基于k-means聚類的算法，它可以在訓(xùn)練數(shù)據(jù)集中找到小規(guī)模最可能成為支持向量的樣本點。通過協(xié)同聚類方法，可以使原始Nystrom算法中選取的樣本點基本不丟失分類信息，這可以在保證分類精度基本不變的前提下，明顯提高支持