邏輯回歸算法及其GPU并行實現(xiàn)研究.pdf

1、邏輯回歸是重要的機器學習分類方法之一，由于其模型簡單、訓練速度快而在互聯(lián)網(wǎng)、金融、醫(yī)療等領(lǐng)域有著廣泛的應(yīng)用。在邏輯回歸的訓練過程中最主要的步驟就是使用迭代法對參數(shù)進行更新，隨著實際應(yīng)用中數(shù)據(jù)規(guī)模的逐漸增大，對邏輯回歸的訓練精度和速度有著越來越高的要求。近年來GPU硬件的不斷發(fā)展，使得基于GPU的通用計算逐漸成為研究熱點，這為邏輯回歸的加速訓練提供了有力支持。本文基于梯度下降法實現(xiàn)了邏輯回歸及正則化邏輯回歸，針對梯度下降中遇到的問題對算法

2、進行了改進，并結(jié)合GPU的硬件特性，實現(xiàn)了基于GPU的并行化邏輯回歸系統(tǒng)。論文主要完成的工作如下：
　　針對最速梯度下降法和隨機梯度下降法在訓練過程中普遍存在的后期收斂慢的問題，本文提出了一種基于目標函數(shù)收斂速率的動態(tài)步長方法。該方法首先計算兩次訓練過程中目標函數(shù)的收斂速率，然后按照給定的更新頻率和強度對訓練中使用的步長進行更新，取得了后期收斂加速的效果，從而可以節(jié)省訓練時間。
　　針對L1正則化邏輯回歸中使用的普通符號函數(shù)

3、并不能真正引導出稀疏性的問題，本文提出了一種改進型的符號函數(shù)對訓練中使用的下降方向進行改進。由于L1正則化項不能求導，因此在基于梯度的方法中通常引入符號函數(shù)進行計算，普通符號函數(shù)只關(guān)注參數(shù)本身的符號，而本文提出的改進方法中，通過計算參數(shù)在更新前后符號的變化來確定正則化項最后的符號，使得L1正則化邏輯回歸產(chǎn)生了良好的稀疏性，起到了特征選擇的作用。
　　本文結(jié)合GPU的硬件特性實現(xiàn)了基于GPU的并行邏輯回歸算法。相比于隨機梯度下降法，