統(tǒng)計建模與客戶分析.pdf

1、客戶分析主要指利用客戶已有的購買數(shù)據(jù)和相關的市場信息，在一定理論的指導下建立統(tǒng)計學模型，從而對客戶行為進行描述和預測?？蛻粜袨橹饕ㄓ匈徺I頻率和單次買數(shù)量等。
　　在過去的幾十年里，客戶關系管理逐漸成為了企業(yè)商業(yè)行為的重要組成部分(Netzer et.al，2008)，這就使得客戶分析越來越被重視?？蛻絷P系管理主要包含以下市場決策:(1)瞄準高價值客戶;(2)決定營銷資源的配置;以及(3)區(qū)別對待客戶從而提高利潤率(Kumar

2、et al.，2008)。為了確保客戶關系管理的成功實施，企業(yè)需要對其客戶進行細致分析，挖掘更多更有用的信息，從而回答以下關鍵問題。
　　企業(yè)一共擁有多少客戶？
　　哪些客戶更容易離開該企業(yè)，即，停止從該公司購買商品？
　　客戶未來的交易水平如何？
　　客戶是如何響應企業(yè)的營銷行為的？
　　前兩個問題需要企業(yè)預測客戶的生命周期，也即客戶活躍的時間。第三個問題則要求企業(yè)能夠預測客戶未來的交易頻率以及每次交易的

3、交易量。最后一個問題針對客戶對于市場營銷活動的反映，比如廣告，優(yōu)惠券等是否刺激了客戶的消費行為。這些問題的答案將有助于企業(yè)估計客戶的生命周期價值，而這時客戶關系管理里一個重要的數(shù)量。
　　客戶分析的普及也得益于如今數(shù)據(jù)儲存和處理成本的下降以及快速發(fā)展的信息技術(Danaher and Smith，2011)。數(shù)據(jù)市場在過去的幾年里有著非常明顯的發(fā)展。全球互聯(lián)網數(shù)據(jù)中心的市場規(guī)模已經上升了28個百分點。如圖1所示，截至2012年，全

4、球市場規(guī)模已經達到了255.2億美元，其中亞洲市場所占份額越來越高。在中國，有超過1300家公司從事于互聯(lián)網數(shù)據(jù)服務，2012年的總市場份額達到了137.2億美元（圖2）。從這些數(shù)據(jù)可以看出，對于企業(yè)而言，搜集和整理數(shù)據(jù)將更為輕松，這加大了企業(yè)挖掘客戶數(shù)據(jù)的意愿，從而在另一方面刺激了客戶分析的應用和推廣。
　　用統(tǒng)計建模的方法來分析客戶行為基于一個直觀的思想，即過去能夠反映未來。統(tǒng)計建模的過程就是去尋找某一個或某些個特征使得客戶過

5、去的行為和其未來的行為能夠聯(lián)系在一起(Fader and Hardie，2009)。因此，總體上來說，客戶分析主要包含兩個步驟:第一步是根據(jù)客戶過去的行為尋找到關鍵特征;第二個則是用該特征去預測未來的交易情況。詳細來說，它可以被拆解為以下步驟。
　　首先，對于一個特定的客戶數(shù)據(jù)，并非每一種模型都適用。因此，在建模之前，研究者需要理解該數(shù)據(jù)的組成。比如，該數(shù)據(jù)中是否還有客戶基本面信息，是否記錄了客戶每次購買所花費的金額等等。在多數(shù)情

6、況下，數(shù)據(jù)需要被再處理成建模所需要的形式。例如，在建立BG/NBD模型(Fader et al.，2005)的時候，我們需要每個客戶在觀測時間里的購買次數(shù)，最后一次的購買時間和觀測時長。然而，通常來說，數(shù)據(jù)以txt格式呈現(xiàn)，并按時間記錄每一次交易，因而需要被再整理。
　　在得到整理后的數(shù)據(jù)以后，相關的統(tǒng)計學模型則需要被建立來模擬客戶的購買行為，比如購買頻率，流失過程，等等。這一建模過程通常涉及到幾個對購買過程和客戶異質性的假設。在

7、BG/NBD模型中，購買時間間隔被假設為指數(shù)分布，流失過程被假設為服從幾何過程，而客戶異質性則用gamma分布來描述。除了過往交易數(shù)據(jù)，市場信息（包括優(yōu)惠券，廣告等）也可以被放入模型中來提高預測的準確度。
　　在第三步，研究者需要估計在上一步驟中涉及到的模型參數(shù)。極大似然估計和馬爾科夫鏈蒙特卡洛抽樣是兩種常見的參數(shù)估計方法。根據(jù)解析形式的似然函數(shù)是否可以得到，研究者可以在兩者之間進行選擇。AIC信息準則即Akaikeinforma

8、tion criterion，是衡量統(tǒng)計模型擬合優(yōu)良性的一種標準
　　最后，利用已經估計的參數(shù)和相關模型，客戶未來的交易行為可以被預測，比如預測客戶未來一段時間里的期望交易頻率，從而得到企業(yè)在未來一段時間里的期望銷售數(shù)量。如果模型允許，研究者還可以得到許多管理學上的啟示，例如客戶購買是否具有周期性。
　　過去已有許多研究者利用統(tǒng)計建模的方法來分析客戶行為。這些研究按照其目的可以被大致分為三個方面:預測客戶流失，預測客戶購買頻

9、率和預測客戶購買數(shù)量。本文主要針對前兩個方面。
　　BG/NBD模型是預測客戶購買頻率的一個重要模型，也是基準模型。該模型是在Pareto/NBD模型的基礎上發(fā)展而來。Pareto/NBD模型由Schmittlein et al.(1987)建立的，在該模型中，客戶購買頻率被假設為negative binomial distribution，即gamma混合的Poisson分布;而客戶生命周期則被假設為Pareto分布，即gamm

10、a混合的exponential分布。Pareto/NBD模型的最大缺點在于它不易于被企業(yè)采用，因為參數(shù)估計的過程涉及到對hypergeometric函數(shù)的重復計算，使得模型的應用變得復雜。針對這個缺點，(Fader et al.，2005)建立了BG/NBD模型。在該模型中，客戶被假設為只在每次購買結束后做出是否離開該市場的決策，從而客戶流失過程服從geometric分布，而非Pareto/NBD中的exponential分布。該geo

11、metric分布的參數(shù)被假設為在客戶群中服從beta分布，從而客戶流失過程被描述為一個beta-geometric(BG)過程。BG/NBD模型可以用簡單的辦公軟件，比如Micro Excel，來實現(xiàn)，因而在工業(yè)界和學術界中有著廣泛的應用。
　　除了以上兩個模型，針對客戶行為的不同特點，研究者們還建立其他許多類型的統(tǒng)計學模型。本文則考慮到過往研究里一直被忽略的兩個問題，客戶購買的星期效應，以及客戶的異質性。
　　客戶購買行為

12、的星期效應是指客戶兩次購買的時間間隔傾向于以星期為單位。為了更好的說明這一點，作者選取了一個記錄名為“Kiwibubble”的產品推廣銷量的數(shù)據(jù)。在一年的時間里，267名客戶一共購買了745次，制造了514個購買時間間隔。圖3為這514個購買間隔的直方圖。
　　從該圖中可以看出，購買時間間隔為7，14，…，的頻率要明顯高于其周圍的值，這說明了客戶在上一次購買后，有更大的概率在7的整數(shù)倍天進行下一次的購買。該圖也顯示了客戶行為具有以

13、星期為單位的周期性。在每一個[7i-3，7i+3]，i=1，2，…，的周期里，客戶數(shù)量隨著購買時間間隔接近7i而上升，隨著其遠離7i而下降。
　　形成這種星期效應的一個可能的原因是人們只在周末才有時間去超級市場采購物品?，F(xiàn)如今，工作時日通常以星期為單位，這也就不奇怪觀測到客戶以星期的整數(shù)倍為間隔來進行購買。星期效應也有產生于企業(yè)的周期性商業(yè)行為。比如，采購員可能以星期為單位檢測公司的庫存情況，從而決定是否買進更多的原材料。

14、　　過去的研究都是直接對購買時間進行建模，采用的分布通常為exponential分布， Weibull分布和generalized gamma分布等。在本文中，為了模擬星期效應，作者將購買時間間隔分為兩個部分，即周部分和日部分?？蛻粼趖天以后的購買，則被描述為客戶在距離上次購買的w周d天后進行下一次交易。其中，
　　t=7*w+d，w=0，1，2，…
　　注意到，當w＞0時，d的取值范圍為[-3，3]的整數(shù)，當w=0時，d只

15、可以取1，2，3三個值。通過該公式，一個客戶在t天以后購買的概率就是購買時間包含了w周的概率乘以購買時間在w周第d天的概率。
　　P(t)=P(w)P(d丨w)
　　由于周部分的定義域為非負整數(shù)，所以在本文中作者采用了Poisson分布和negative binomial分布來模擬周分布。對于Poisson分布，作者假設其參數(shù)服從gamma分布。因而對于一個隨機選取的客戶，其周部分服從negative binomial分布(

16、NBD)。
　　Negative binomial分布可以被看作是Poisson分布的一個延伸，經常被研究者用來描述相對分散的非負整數(shù)的分布。Negative binomial分布含有兩個參數(shù)，一個是允許的實驗失敗次數(shù)r，一個是每次實驗成功的概率θ。為了描述客戶的異質性，作者假設θ服從beta分布。從而對于一個隨機選取的客戶，其周分布服從beta-negative binomial(B-NBD)分布。
　　對于日部分，本文采

17、用了多元logistic回歸來模擬d=-3，-2，…，2，3的概率。
　　對于客戶流失過程，作者采用了與BG/NBD模型相同的設定。即，客戶在每次購買結束后決定是否還繼續(xù)購買，如果不繼續(xù)，則永久離開該市場?？蛻袅魇У母怕始僭O為p，其異質性通過beta分布來實現(xiàn)。從而，對于一個隨機選取的客戶，其生命周期服從beta-geometric(BG)分布。
　　綜上所述，作者針對星期效應建立了兩個模型，一個是BG/NBD-logit模

18、型，一個是BG/B-NBD-logit模型。極大似然估計被用來估計模型參數(shù)，蒙特卡洛模擬則被用來預測客戶未來的購買行為。
　　用來實驗的數(shù)據(jù)記錄了一個名為“Kiwibubble”的新飲料的銷售。這個觀察期為1年，在此期間內267名顧客，一共進行了745次購買。為了證明模型的有效性。作者將這個觀察期平分為擬合期和預測期。建模的目的就是用前26周的購買數(shù)據(jù)來預測未來26周的客戶的購買行為。
　　BG/NBD-logit模型的AI

19、C信息準則和BIC信息準則分別求得為3246.9和3289.9，而BG/B-NBD-logit模型的分別為3120.1和3166.8。這說明了后一種模型提供了比前一種更好的擬合性。為了進一步說明模型的擬合性質，作者描繪了這267名客戶在擬合期的期望累計購買數(shù)量和期望每周購買數(shù)量（圖4和圖5），并與真實情況進行了比較。如圖所示，和BG/NBD模型比起，作者提供的兩種模型都具有更好的擬合性。表1和表2是與圖4和圖5相關的平均絕對百分誤差，可

20、以看出，新模型的在跟蹤前26周累積銷量方面具有更小的誤差。
　　表1.“Kiwibubble”數(shù)據(jù)擬合期累計銷量預測的平均絕對百分誤差┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓┃平均絕對百分誤差(％)┃┣━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━━┫┃ BG/NBD模型┃ BG/NBD-logit模型┃ BG/B-NBD-logit模型┃┣━━━━━━━━╋━━━━━━━━━━━╋

21、━━━━━━━━━━━━┫┃10.15┃3.12┃2.84┃┗━━━━━━━━┻━━━━━━━━━━━┻━━━━━━━━━━━━┛
　　表2.“Kiwibubble”數(shù)據(jù)擬合期每周銷量預測的平均絕對百分誤差┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓┃平均絕對百分誤差(％)┃┣━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━┫┃ BG/NBD模型┃ BG/NBD-logit模型┃ B

22、G/B-NBD-logit模型┃┣━━━━━━━━╋━━━━━━━━━━━━╋━━━━━━━━━━━━┫┃34.04┃35.59┃29.88┃┗━━━━━━━━┻━━━━━━━━━━━━┻━━━━━━━━━━━━┛
　　客戶分析最主要的任務是對現(xiàn)有客戶未來的表現(xiàn)進行預測。為了說明新模型如何提高預測精度，根據(jù)客戶在擬合期的表現(xiàn)，作者計算了客戶在預測期的期望購買數(shù)量，并與真實情況進行了比較。如圖6和圖7所示，所有模型的準確度都有下降，

23、然而新模型精度的降低小于基準模型。表3和表4的平均絕對百分誤差進一步說明了在考慮了星期效應的情況下，客戶行為能夠被更加有效的描述。
　　表3.“Kiwibubble”數(shù)據(jù)預測期累計銷量預測的平均絕對百分誤差┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓┃平均絕對百分誤差(％)┃┣━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━━┫┃ BG/NBD模型┃ BG/NBD-logit模型┃ BG/

24、B-NBD-logit模型┃┣━━━━━━━━╋━━━━━━━━━━━╋━━━━━━━━━━━━┫┃10.06┃8.80┃8.32┃┗━━━━━━━━┻━━━━━━━━━━━┻━━━━━━━━━━━━┛
　　表4.“Kiwibubble”數(shù)據(jù)預測期每周銷量預測的平均絕對百分誤差┏━━━━━━━━━━━━┓┃平均絕對百分誤差(％)┃┗━━━━━━━━━━━━┛┏━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━━┓┃

25、BG/NBD模型┃ BG/NBD-logit模型┃ BG/B-NBD-logit模型┃┣━━━━━━━━╋━━━━━━━━━━━╋━━━━━━━━━━━━┫┃93.21┃62.42┃67.83┃┗━━━━━━━━┻━━━━━━━━━━━┻━━━━━━━━━━━━┛
　　總體說來，在考慮了星期效應之后，新模型在數(shù)據(jù)擬合性和預測性方面都得到了提升。企業(yè)的商業(yè)決策也應該考慮到客戶的這種周期性。
　　這篇文章研究的另一個問題有關于客

26、戶的異質性假設。因為客戶與客戶之間存在著年齡，收入，職業(yè)等的差異，因而他們在對同一產品的喜好和使用時不同的，這就導致了他們在購買行為呈現(xiàn)出異質性?？赡苡械目蛻糍徺I頻率很高，而有的客戶只是偶爾才光顧該公司。這種異質性通常是通過假設模型參數(shù)在客戶之間服從某種分布來把握。比如，在BG/NBD模型中，客戶購買速率上的異質性就通過假設Poisson分布參數(shù)服從gamma分布來實現(xiàn)。過往的研究中出現(xiàn)過的異質性分布包括gamma分布，normal分布

27、，log-normal分布，beta分布等等。
　　這些分布的一個重要特點就是他們在這個定義域上只存在一個局部最大值。從其概率密度函數(shù)圖上來看，這體現(xiàn)為密度曲線只呈現(xiàn)一個高點。當研究者使用這些單峰分布的時候，就潛在地假定了大多數(shù)客戶的購買行為將集中在曲線最高值附近。客戶頻率將向最高值兩邊逐漸減少。然而，在現(xiàn)實中，客戶的組成要更為復雜，從而單峰異質性假設會失去其效用。為了說明這一點，作者進行了一個模擬試驗。
　　在該試驗中，客

28、戶行為的設定與BG/NBD模型基本一致，即，滿足以下五個假設。
　　假設1:當客戶依舊活躍時，客戶的購買時間間隔服從exponential分布，參數(shù)為μ。
　　假設2:在每次購買結束后，客戶有p的概率不再購買該產品。
　　假設3:參數(shù)μ服從混合gamma分布。
　　假設4:參數(shù)p服從beta分布。
　　假設5:參數(shù)μ和參數(shù)p相互獨立。
　　可以看到，與BG/NBD設定不一樣的地方在于假設3。這里作者讓

29、μ服從混合gamma分布而非單一的gamma分布，其實是假定了該客戶群來自于兩個群體，每個群體所占的比例即是混合分布中對應的權重值。
　　作者組織了兩組共10個模擬試驗，結果表明，當客戶明顯由兩個群體組成時（兩個群體所占的權重接近），原BG/NBD模型的精確度顯著下降。而在本文中，為了解決這一問題，作者對BG/NBD模型進行了延伸。新模型維持了原模型大部分的形式，主要改變在于exponential分布的參數(shù)被假設為服從混合gamm

30、a分布。作者指出該延伸不僅保留了原模型易于應用和估計的特點，而且成功地考慮了客戶的復雜組成。因為本文中作者只混合了兩個gamma分布，因而稱新模型為BG/NBD-2模型。對于混互模型，混合權重的確定十分關鍵。在本文中，作者讓混合權重從0開始，按0.05的間隔，逐漸加大到0.5，從而生成11個模型。這11個模型將逐個被擬合到數(shù)據(jù)中，擁有最優(yōu)AIC信息準則的那個模型將被采納。
　　為了驗證該模型的效用，作者采用了CDNOW數(shù)據(jù)。該數(shù)據(jù)

31、記錄了一個名為CDNOW的網站在一年半的時間里出售DVD的情況。該數(shù)據(jù)包含了23570名客戶，這些客戶在69660次交易中購買了超過163000張DVD。同F(xiàn)ader et al.(2005)一樣，十分之一的客戶被抽樣出來組成新的樣本。前39周被選為擬合期，剩下的另一半作為預測期。極大似然估計被用來估計BG/NBD和BG/NBD-2模型的參數(shù)。
　　模型的擬合表現(xiàn)通過兩個數(shù)量值來體現(xiàn)。首先，作者計算了在擬合期間購買0，1，…，7+

32、次的期望客戶人數(shù)，并與實際情況進行比較。如圖8所示，新模型在擬合方面表現(xiàn)更好，因為它所估計的人數(shù)與實際人數(shù)更為接近。此外，客戶在擬合期的期望累積購買量也被計算出來。如圖9所示，兩個模型的表現(xiàn)一致。新模型在該統(tǒng)計量上的平均絕對百分誤差為6.28％，與BG/NBD模型的6.37％十分接近。
　　為了驗證模型的預測精度，作者計算了客戶在預測期的條件累積購買數(shù)量，并與實際情況進行了對比。新模型在此項上的平均絕對百分誤差為7.09％，比BG

33、/NBD導致的11.88％的誤差要小。這說明了新模型比原模型能更好地預測客戶未來的購買行為。
　　新模型的優(yōu)越性還通過另一個統(tǒng)計量得出。作者計算了在擬合期購買x(x=0，1，..，7+)次產品的客戶在預測期的平均購買頻率。其與真實情況的比較如圖11所示。
　　綜上所述，
　　(1)無論是BG/NBD模型，還是BG/NBD-2模型，都提供了很好的擬合性。
　　(2)對于兩個模型，其在模擬累積購買頻率時，所產生的平均