基于Hadoop的物流歷史數(shù)據(jù)聚類挖掘研究.pdf

1、隨著電商、物聯(lián)網(wǎng)、云計(jì)算等一系列新型技術(shù)的發(fā)展與應(yīng)用，如今的物流行業(yè)的數(shù)據(jù)增長已不再是線性的、緩慢的，它所呈現(xiàn)的是海量的、復(fù)雜的、實(shí)時(shí)的與爆炸性的。顯然，傳統(tǒng)的單機(jī)存儲和串行的數(shù)據(jù)挖掘技術(shù)已無法滿足當(dāng)前物流行業(yè)的大數(shù)據(jù)處理需求。Hadoop則依然成為了當(dāng)下社會發(fā)展的新趨勢，它是一個(gè)開源的分布式平臺，適用于大數(shù)據(jù)集的分布式計(jì)算。近年來，這一技術(shù)在數(shù)據(jù)挖掘領(lǐng)域逐漸發(fā)揮出其獨(dú)特的優(yōu)勢。而K-means聚類算法就是一種有效的大數(shù)據(jù)挖掘算法，該算

2、法實(shí)現(xiàn)簡單且易于使用，但其在質(zhì)心點(diǎn)及K值的選取上仍然存在很大的盲目性和不可預(yù)見性，經(jīng)常導(dǎo)致聚類結(jié)果出現(xiàn)局部最優(yōu)，且在距離計(jì)算過程中存在著復(fù)雜的冗余計(jì)算，收斂速度慢，聚類精度低，缺乏并行性和可擴(kuò)展性，大大降低了算法的運(yùn)行效率。針對傳統(tǒng)K-means算法不足，本課題結(jié)合了“距離三角不等式原理”和“最小最大原則”的優(yōu)點(diǎn)，在Hadoop云計(jì)算平臺上提出了一種基于雙MapReduce分布式編程模型改進(jìn)的Canopy-Kmeans算法，并通過社發(fā)物

3、流公司的真實(shí)歷史數(shù)據(jù)驗(yàn)證了本文算法的正確性。
　　本研究主要內(nèi)容包括：⑴闡述了Hadoop生態(tài)系統(tǒng)，對其基本組件、構(gòu)造模塊以及工作機(jī)制進(jìn)行了深入的剖析和研究；分析了大數(shù)據(jù)挖掘過程的標(biāo)準(zhǔn)流程；對傳統(tǒng)K-means算法的設(shè)計(jì)思路和過程進(jìn)行了深入的研究，探討了已有研究成果的優(yōu)缺點(diǎn)。⑵在Hadoop平臺上基于最小最大原則對傳統(tǒng)的Canopy算法進(jìn)行了改進(jìn)，成功地解決了傳統(tǒng)Canopy算法中人為設(shè)置K值以及區(qū)域半徑T1、T2的盲目性，為K-

4、means聚類結(jié)果的準(zhǔn)確性提供了可靠的理論依據(jù)。⑶基于三角不等式原理的優(yōu)點(diǎn)，在K-means算法迭代計(jì)算之前，增加了距離篩選判定，從而有效地減少了大量的冗余計(jì)算；另外，為了進(jìn)一步提高該算法的運(yùn)行效率，在引入加權(quán)聚類準(zhǔn)則函數(shù)的基礎(chǔ)上，增加了收斂性判定，進(jìn)而提高了聚類的質(zhì)量和收斂速度，降低了數(shù)據(jù)對象的誤分率。⑷設(shè)計(jì)并實(shí)現(xiàn)了基于雙MapReduce編程模型改進(jìn)的Canopy-Kmeans算法。為了進(jìn)一步驗(yàn)證本文算法設(shè)計(jì)的可行性，搭建了Hado