基于遞歸神經(jīng)網(wǎng)絡(luò)的廣告點擊率預(yù)估.pdf

1、伴隨著互聯(lián)網(wǎng)而生的在線廣告，在過去幾十年里，得到飛速發(fā)展。廣告點擊率作為計算廣告的重要研究內(nèi)容，越來越受到人們的關(guān)注。借助機器學(xué)習(xí)，根據(jù)歷史數(shù)據(jù)預(yù)估廣告點擊率是目前的主要方法，憑借準(zhǔn)確的廣告點擊率預(yù)估可以使廣告投放得更加精準(zhǔn)，提高真實的點擊率，增加收益。雖然使用線性模型可以簡單地預(yù)估廣告點擊率，但是線性模型的學(xué)習(xí)能力有限，對于越來越多的數(shù)據(jù)特征，無法更有效得學(xué)習(xí)，而且在學(xué)習(xí)的過程中容易出現(xiàn)過度擬合的情況，影響模型對特征的學(xué)習(xí)?；谏窠?jīng)網(wǎng)

2、絡(luò)算法的模型采用非線性激勵函數(shù)以及多層節(jié)點結(jié)構(gòu)可以更好得學(xué)習(xí)大量非線性特征之間復(fù)雜的關(guān)系，從而提高模型的預(yù)估能力。其中，遞歸神經(jīng)網(wǎng)絡(luò)是一種網(wǎng)絡(luò)中存在環(huán)結(jié)構(gòu)、能存儲神經(jīng)元前一時刻的輸出并且具有較強的優(yōu)化計算能力的神經(jīng)網(wǎng)絡(luò)。本文主要工作包括以下三個方面：
　　(1)本文針對不同的模型進行相應(yīng)的特征處理，邏輯回歸模型采用拼接顯性特征組合提取隱藏用戶屬性，再通過哈希映射，將原來不同類型的特征值轉(zhuǎn)換成相同類型的特征值。隨機森林模型采用建立特

3、征字典，過濾頻次過低的樣本數(shù)，然后進行one-hot編碼去處理特征。基于神經(jīng)網(wǎng)絡(luò)的模型，本文采用首先計算特征的頻次，并建立特征頻次字典，將字符型特征轉(zhuǎn)變成整型特征，然后將轉(zhuǎn)化后的特征進行離差標(biāo)準(zhǔn)化，使每個特征的特征值范圍在[0,1]之間。
　　(2)遞歸神經(jīng)網(wǎng)絡(luò)雖然已經(jīng)應(yīng)用于廣告點擊率的預(yù)估，但是遞歸神經(jīng)網(wǎng)絡(luò)模型采用梯度下降，在趨近最小值時，可能會出現(xiàn)梯度爆發(fā)或消失，從而影響預(yù)估效果。本文采用基于LSTM(long short t

4、erm memory)改進的遞歸神經(jīng)網(wǎng)絡(luò)預(yù)估廣告點擊率，利用LSTM去修正RNN，來防止梯度的爆發(fā)或消失。實驗結(jié)果表明基于LSTM改進的遞歸神經(jīng)網(wǎng)絡(luò)模型在預(yù)估廣告點擊率方面取得了較好的效果。
　　(3)本文采用python語言編寫邏輯回歸模型，隨機森林模型、BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)模型、遞歸神經(jīng)網(wǎng)絡(luò)模型和基于LSTM(Area Under roc Curve)改進的遞歸神經(jīng)網(wǎng)絡(luò)模型。并分別采用sigmoid