基于Spark的在線欺詐檢測算法設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在大數(shù)據(jù)時(shí)代背景下，電子商務(wù)、第三方支付等線上業(yè)務(wù)爆發(fā)式增長，隨之而來的是日益猖獗的線上欺詐案件，在線欺詐檢測技術(shù)作為企業(yè)風(fēng)控能力的基石，通過對業(yè)務(wù)行為建模，更加精準(zhǔn)、高效地識別欺詐案件，為廣大用戶和線上平臺挽回?fù)p失、規(guī)避風(fēng)險(xiǎn)，發(fā)揮著巨大的作用。
　　由于線上欺詐案件與正常交易的極度不平衡性，在線欺詐檢測需要重點(diǎn)解決不平衡學(xué)習(xí)問題。除此以外，隨著線上業(yè)務(wù)量日益增長，在線欺詐檢測系統(tǒng)作為業(yè)務(wù)系統(tǒng)的核心組件，對其性能要求也越來越嚴(yán)格，

2、將大數(shù)據(jù)技術(shù)和在線欺詐檢測有機(jī)結(jié)合將極大地提升企業(yè)的風(fēng)控防御能力。
　　本論文從相關(guān)技術(shù)介紹切入，詳細(xì)討論了包括分布式計(jì)算框架Spark，實(shí)時(shí)流計(jì)算組件Spark Streaming在內(nèi)的大數(shù)據(jù)技術(shù)，同時(shí)介紹了在線欺詐檢測研究的進(jìn)展。結(jié)合大數(shù)據(jù)背景，本文提出了基于聚類的數(shù)據(jù)集自平衡構(gòu)建算法和分布式資損敏感Lasso算法，將兩者有機(jī)結(jié)合基于Spark分布式計(jì)算框架進(jìn)行了實(shí)現(xiàn)，并在實(shí)際在線欺詐檢測數(shù)據(jù)集上進(jìn)行了相關(guān)指標(biāo)的測評。

3、　　本論文的主要貢獻(xiàn)有:
　　1)提出了一種基于聚類的數(shù)據(jù)集自平衡增量構(gòu)建算法，利用增量聚類算法度量類內(nèi)樣本的相似度，選擇類內(nèi)具有代表性的多個(gè)樣本點(diǎn)構(gòu)成訓(xùn)練集，在能夠保留時(shí)序數(shù)據(jù)信息的情況下，有效解決在線欺詐檢測數(shù)據(jù)集的類內(nèi)、類間不平衡等問題;
　　2)結(jié)合在線支付欺詐檢測場景，提出了分布式資損敏感Lasso算法，在大數(shù)據(jù)背景下能夠高效地進(jìn)行模型訓(xùn)練，并能有效提高在線欺詐檢測模型的資損率;
　　3)基于Spark分布式