面向海量商品數(shù)據(jù)的分布式層次聚類算法設(shè)計(jì)與實(shí)現(xiàn).pdf

1、得益于計(jì)算機(jī)科學(xué)與信息技術(shù)的進(jìn)步，企業(yè)可以方便的收集并儲(chǔ)存大量數(shù)據(jù)。但收集到的數(shù)據(jù)僅僅占用了大量的存儲(chǔ)空間，無法對(duì)企業(yè)的價(jià)值產(chǎn)生有效的幫助，因此企業(yè)開始著手于從數(shù)據(jù)中挖掘信息。以往的信息挖掘過程由專家分析并解釋數(shù)據(jù)，這種方式隨著數(shù)據(jù)量以及屬性的急劇增加而變得越來越困難。所以，如何有效地從巨大數(shù)據(jù)庫(kù)中自動(dòng)的發(fā)現(xiàn)知識(shí)，更進(jìn)一步加工轉(zhuǎn)化成企業(yè)不可或缺的商業(yè)智慧，逐漸成為二十一世紀(jì)企業(yè)和機(jī)構(gòu)所必須面對(duì)的重要課題。在生產(chǎn)實(shí)踐中，數(shù)據(jù)的增加速度與數(shù)

2、據(jù)分析所消耗的大量時(shí)間已經(jīng)形成了越來越突出的矛盾。數(shù)據(jù)挖掘正是為了解決傳統(tǒng)分析方法的問題，針對(duì)大規(guī)模數(shù)據(jù)的分析處理而出現(xiàn)的技術(shù)。數(shù)據(jù)挖掘通過將自學(xué)習(xí)算法應(yīng)用在大規(guī)模數(shù)據(jù)集上，得到隱藏在數(shù)據(jù)中難以獲取的知識(shí)與信息。海關(guān)作為國(guó)家商品進(jìn)出口的主要監(jiān)管單位，是海量進(jìn)出口數(shù)據(jù)的生產(chǎn)者和擁有者。隨著業(yè)務(wù)流程信息化建設(shè)的深入和完善，海關(guān)已經(jīng)基本實(shí)現(xiàn)了較為完整的數(shù)據(jù)化監(jiān)管和數(shù)字化運(yùn)營(yíng)能力。但同時(shí)，相對(duì)有限的數(shù)據(jù)分析手段與不斷增長(zhǎng)的數(shù)據(jù)和業(yè)務(wù)復(fù)雜度之間的

3、矛盾也日益突出。如何對(duì)海量的報(bào)關(guān)商品進(jìn)行有效的歸類和管理成為海關(guān)監(jiān)管中亟待解決的問題。
　　本研究以海關(guān)商品數(shù)據(jù)分析項(xiàng)目為主線，在MapReduce框架的基礎(chǔ)上實(shí)現(xiàn)了對(duì)商品數(shù)據(jù)的一系列處理模塊，形成了商品數(shù)據(jù)的分布式聚類系統(tǒng)。主要內(nèi)容包括商品數(shù)據(jù)的預(yù)處理、TF-IDF計(jì)算、倒排索引的構(gòu)建、相似度矩陣的計(jì)算、單連接層次聚類計(jì)算等。最后利用層次聚類的結(jié)果對(duì)海關(guān)的商品數(shù)據(jù)進(jìn)行了整理，為海關(guān)情報(bào)分析研判模塊提供精確的分組統(tǒng)計(jì)依據(jù)，在實(shí)際應(yīng)