多層隨機(jī)森林算法在電信離網(wǎng)預(yù)測(cè)中的應(yīng)用.pdf

1、在電信運(yùn)營(yíng)商領(lǐng)域，離網(wǎng)預(yù)測(cè)是企業(yè)決策者用來發(fā)現(xiàn)潛在離網(wǎng)用戶（即停用運(yùn)營(yíng)商服務(wù)）的主要手段。目前，離網(wǎng)預(yù)測(cè)都是基于特征工程和傳統(tǒng)機(jī)器學(xué)習(xí)算法，例如邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)及隨機(jī)森林等。其中，隨機(jī)森林算法憑借其能同時(shí)處理離散和連續(xù)的特征輸入、分布式訓(xùn)練速度快及有較高預(yù)測(cè)準(zhǔn)確度等良好特性，在電信離網(wǎng)預(yù)測(cè)系統(tǒng)中得到廣泛應(yīng)用。因此，改善隨機(jī)森林算法，進(jìn)一步提升離網(wǎng)預(yù)測(cè)的準(zhǔn)確度，是本文的主要研究?jī)?nèi)容。
　　近年來，大數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)框架在

2、預(yù)測(cè)問題上獲得巨大成功，主要原因是多層次深度神經(jīng)網(wǎng)絡(luò)能夠從大量數(shù)據(jù)中組合出豐富的非線性特征，從而提升分類預(yù)測(cè)決策的準(zhǔn)確度。受到深度學(xué)習(xí)的啟發(fā)，本文聚焦回答一個(gè)問題：是否能夠構(gòu)造一個(gè)多層次隨機(jī)森林算法來獲取更好的特征進(jìn)而得到比單層隨機(jī)森林更高的離網(wǎng)預(yù)測(cè)準(zhǔn)確度？本文提出了兩種多層隨機(jī)森林算法，一種是多層分類森林算法，另一種是多層回歸森林算法，并在運(yùn)營(yíng)商真實(shí)用戶數(shù)據(jù)上驗(yàn)證這兩種算法的離網(wǎng)預(yù)測(cè)精度。實(shí)驗(yàn)數(shù)據(jù)選用連續(xù)兩個(gè)月的預(yù)付費(fèi)用戶數(shù)據(jù)（每個(gè)月

3、大概210萬條數(shù)據(jù)），其中將前一個(gè)月數(shù)據(jù)用作訓(xùn)練集，而將后一個(gè)月數(shù)據(jù)用作測(cè)試集。實(shí)驗(yàn)結(jié)果表明，多層隨機(jī)森林比單層隨機(jī)森林具有更高的離網(wǎng)預(yù)測(cè)準(zhǔn)確度，其中四層隨機(jī)森林與單層隨機(jī)森林相比，在PR-AUC值上有6.82％的提升。綜上所述，本文的創(chuàng)新點(diǎn)包括：
　　1）本文提出了一種新的多層隨機(jī)森林算法——多層分類森林，通過級(jí)聯(lián)的方式，將隨機(jī)森林分類器構(gòu)造成多層結(jié)構(gòu)算法模型，并用前一層的輸出作為下一層的輸入。在離網(wǎng)預(yù)測(cè)結(jié)果上，四層分類森林與單

4、層隨機(jī)森林對(duì)比，PR-AUC值提升了4.13%。
　　2）類似多層分類森林算法，本文基于Gradient Boosted Regression Tree(GBRT)思想，提出多層回歸森林算法。通過級(jí)聯(lián)方式，將后面每一層的回歸森林目標(biāo)函數(shù)設(shè)置成標(biāo)簽值與之前所有層結(jié)果之和的殘差，通過每一層不斷縮小殘差回歸的誤差來提升算法的預(yù)測(cè)能力。在離網(wǎng)預(yù)測(cè)的實(shí)驗(yàn)結(jié)果中，四層回歸森林的預(yù)測(cè)準(zhǔn)確度要高于四層分類森林，相對(duì)于四層分類森林，PR-AUC值提

5、升了2.57%。
　　3）通過大量離網(wǎng)預(yù)測(cè)實(shí)驗(yàn)對(duì)比，發(fā)現(xiàn)以下現(xiàn)象：a)對(duì)比在不同數(shù)據(jù)量（分別是1個(gè)月、2個(gè)月、3個(gè)月及4個(gè)月）的訓(xùn)練集下多層分類森林及多層回歸森林在離網(wǎng)預(yù)測(cè)問題上預(yù)測(cè)結(jié)果，發(fā)現(xiàn)隨著訓(xùn)練數(shù)據(jù)量的倍數(shù)增長(zhǎng)，兩種多層算法在預(yù)測(cè)精度上的提升幅度要高于單層隨機(jī)森林（例如同樣是用四個(gè)月的數(shù)據(jù)量與一個(gè)月的數(shù)據(jù)量進(jìn)行對(duì)比，單層隨機(jī)森林預(yù)測(cè)結(jié)果的PR-AUC值提升了4.80%，而四層分類森林提升了6.09%，四層回歸森林更是提升了6

6、.58%），證實(shí)了在大數(shù)據(jù)量下，多層模型較單層模型有更強(qiáng)的特征學(xué)習(xí)能力；b)對(duì)比在不同的時(shí)間延遲上（分別是后面第一個(gè)月、后面第二個(gè)月、后面第三個(gè)月及后面第四個(gè)月）多層分類森林及多層回歸森林預(yù)測(cè)結(jié)果，發(fā)現(xiàn)隨著時(shí)間延遲的線性增長(zhǎng)，兩種算法在離網(wǎng)預(yù)測(cè)上的預(yù)測(cè)結(jié)果相對(duì)于單層隨機(jī)森林有更小幅度的下降（例如延遲一個(gè)月時(shí)，四層回歸森林的 PR-AUC值比單層隨機(jī)森林高6.82%，而延遲四個(gè)月時(shí)，四層回歸森林的 PR-AUC值比單層隨機(jī)森林要高39.5