大規(guī)模稀疏學習研究：優(yōu)化算法及其應(yīng)用.pdf

1、大規(guī)模稀疏學習是機器學習中的重要方法之一，在很多實際應(yīng)用問題上有著廣泛應(yīng)用，比如，文本信息挖掘、生物信息學、圖像處理、新聞推薦等等。然而，在具有海量樣本和超高特征維度的大規(guī)模問題中，大規(guī)模稀疏學習模型的高效訓(xùn)練依然是一個非常具有挑戰(zhàn)性的問題。因此，多年來，大規(guī)模稀疏學習一直是學術(shù)界和工業(yè)界的重要研究熱點?，F(xiàn)有的大規(guī)模稀疏學習模型訓(xùn)練方法，大多是基于隨機復(fù)合優(yōu)化算法設(shè)計的。因為其迭代過程中的在線批量轉(zhuǎn)換步驟存在缺陷，所以，現(xiàn)有的算法不能獲

2、得真正稀疏的模型。
　　本研究提出了一個簡單有效的隨機復(fù)合優(yōu)化框架以及在此框架下的三個具體算法。理論分析和實驗結(jié)果顯示，我們的算法不僅在稀疏學習能力方面完全優(yōu)于現(xiàn)有算法，而且能將大概率誤差界降低一個數(shù)量級。篩選是一類能夠有效加速大規(guī)模稀疏學習模型訓(xùn)練的新興技術(shù)，能夠快速檢測出與模型無關(guān)的特征或者樣本并將其從模型中剔除，從而降低模型規(guī)模、提高訓(xùn)練效率。但是，現(xiàn)有的篩選算法都只單一研究特征篩選或者樣本篩選，無法應(yīng)用于數(shù)據(jù)量和特征數(shù)量都

3、非常大的應(yīng)用中。為此，我們提出了一個基于原問題和對偶問題解的準確估計的稀疏支持向量機靜態(tài)加速訓(xùn)練算法，該算法能夠同時篩選與模型無關(guān)的特征和樣本。實驗結(jié)果顯示，我們的算法能夠帶來速度上幾個數(shù)量級的提升。另外，我們注意到，隨機矩陣算法在大規(guī)模數(shù)據(jù)分析中具有很高的時間效率，但尚未被引入到大規(guī)模稀疏學習模型的訓(xùn)練中。據(jù)此，我們創(chuàng)造性地將隨機矩陣引入到稀疏學習中，提出了基于隨機投影的加速稀疏線性回歸算法。我們的算法能在取得指數(shù)收斂速度的同時，大大

4、降低單次迭代的計算復(fù)雜度，而且我們算法的中間解的稀疏性具有理論保證。最后，在具體應(yīng)用方面，由于生物數(shù)據(jù)（如人類基因數(shù)據(jù)）常常具有非常高的維度，而且其所用的稀疏學習模型比較復(fù)雜，因此，模型訓(xùn)練效率一直是大規(guī)模稀疏學習模型在生物信息學中應(yīng)用時面臨的瓶頸問題。對此，我們以阿爾茨海默病為例，提出了一種基于共享樹結(jié)構(gòu)的多任務(wù)特征學習的基因風險因子檢測算法。這是一項能夠通過同時利用特征結(jié)構(gòu)信息和多任務(wù)間共享信息來提高檢測性能的獨特技術(shù)。我們還為該模