基于Hadoop的物流歷史數(shù)據(jù)聚類挖掘研究.pdf

1、隨著電商、物聯(lián)網(wǎng)、云計算等一系列新型技術(shù)的發(fā)展與應用，如今的物流行業(yè)的數(shù)據(jù)增長已不再是線性的、緩慢的，它所呈現(xiàn)的是海量的、復雜的、實時的與爆炸性的。顯然，傳統(tǒng)的單機存儲和串行的數(shù)據(jù)挖掘技術(shù)已無法滿足當前物流行業(yè)的大數(shù)據(jù)處理需求。Hadoop則依然成為了當下社會發(fā)展的新趨勢，它是一個開源的分布式平臺，適用于大數(shù)據(jù)集的分布式計算。近年來，這一技術(shù)在數(shù)據(jù)挖掘領域逐漸發(fā)揮出其獨特的優(yōu)勢。而K-means聚類算法就是一種有效的大數(shù)據(jù)挖掘算法，該算

2、法實現(xiàn)簡單且易于使用，但其在質(zhì)心點及K值的選取上仍然存在很大的盲目性和不可預見性，經(jīng)常導致聚類結(jié)果出現(xiàn)局部最優(yōu)，且在距離計算過程中存在著復雜的冗余計算，收斂速度慢，聚類精度低，缺乏并行性和可擴展性，大大降低了算法的運行效率。針對傳統(tǒng)K-means算法不足，本課題結(jié)合了“距離三角不等式原理”和“最小最大原則”的優(yōu)點，在Hadoop云計算平臺上提出了一種基于雙MapReduce分布式編程模型改進的Canopy-Kmeans算法，并通過社發(fā)物

3、流公司的真實歷史數(shù)據(jù)驗證了本文算法的正確性。
　　本研究主要內(nèi)容包括：⑴闡述了Hadoop生態(tài)系統(tǒng)，對其基本組件、構(gòu)造模塊以及工作機制進行了深入的剖析和研究；分析了大數(shù)據(jù)挖掘過程的標準流程；對傳統(tǒng)K-means算法的設計思路和過程進行了深入的研究，探討了已有研究成果的優(yōu)缺點。⑵在Hadoop平臺上基于最小最大原則對傳統(tǒng)的Canopy算法進行了改進，成功地解決了傳統(tǒng)Canopy算法中人為設置K值以及區(qū)域半徑T1、T2的盲目性，為K-

4、means聚類結(jié)果的準確性提供了可靠的理論依據(jù)。⑶基于三角不等式原理的優(yōu)點，在K-means算法迭代計算之前，增加了距離篩選判定，從而有效地減少了大量的冗余計算；另外，為了進一步提高該算法的運行效率，在引入加權(quán)聚類準則函數(shù)的基礎上，增加了收斂性判定，進而提高了聚類的質(zhì)量和收斂速度，降低了數(shù)據(jù)對象的誤分率。⑷設計并實現(xiàn)了基于雙MapReduce編程模型改進的Canopy-Kmeans算法。為了進一步驗證本文算法設計的可行性，搭建了Hado