基于Spark的分類算法在電信客戶流失預(yù)測(cè)系統(tǒng)中的并行化研究.pdf

1、在電信行業(yè)中，數(shù)據(jù)挖掘中的分類技術(shù)廣泛運(yùn)用于客戶流失預(yù)測(cè)。但是，傳統(tǒng)的分類算法大多是運(yùn)行在單機(jī)上，面對(duì)小規(guī)模數(shù)據(jù)時(shí)能快速的完成分類，當(dāng)對(duì)電信企業(yè)中的海量數(shù)據(jù)進(jìn)行處理時(shí)，由于單機(jī)的資源有限，計(jì)算需要耗費(fèi)大量的時(shí)間，不能高效的完成分類任務(wù)，如何提高分類算法處理海量數(shù)據(jù)的效率是電信企業(yè)提高流失預(yù)測(cè)效率亟需解決的問(wèn)題。
　　以電信客戶流失預(yù)測(cè)系統(tǒng)項(xiàng)目為基礎(chǔ)，分析和研究了電信行業(yè)中客戶流失預(yù)測(cè)問(wèn)題，在此基礎(chǔ)上對(duì)系統(tǒng)進(jìn)行了需求分析和功能設(shè)計(jì)。

2、研究了電信企業(yè)中不同類型的數(shù)據(jù)，基于電信客戶靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)構(gòu)建了客戶信息模型作為電信客戶流失預(yù)測(cè)系統(tǒng)的輸入數(shù)據(jù)模型。另外，還研究了Spark平臺(tái)及分類算法，分析了分類算法在Spark平臺(tái)下實(shí)現(xiàn)的并行化方案，實(shí)現(xiàn)了基于分布式平臺(tái)Spark的分類算法的并行化封裝，并把并行化算法運(yùn)用到電信客戶流失預(yù)測(cè)系統(tǒng)中。在電信客戶流失預(yù)測(cè)系統(tǒng)中設(shè)計(jì)和實(shí)現(xiàn)了softmax回歸算法和基于距離的分類算法的并行化，并搭建Spark和Hadoop集群對(duì)算法進(jìn)行