基于Hadoop云平臺的智能推薦物流系統(tǒng)設(shè)計與實現(xiàn).pdf

1、開源的云平臺框架Hadoop，隨著互聯(lián)網(wǎng)的高速發(fā)展，也在不斷完善自身推出具有更高性能、更穩(wěn)定的版本，在以數(shù)據(jù)為引導(dǎo)的今日，得到了更加廣泛的關(guān)注。它是Google一個重要的分布式并行化編程模型MapReduce的開源實現(xiàn)，擁有豐富的服務(wù)接口，可以部署在數(shù)千個節(jié)點集群中，來應(yīng)對海量的數(shù)據(jù)計算業(yè)務(wù)。對于實現(xiàn)并行化的算法程序，使用其MapReduce編程模型，開發(fā)者只需要將注意力集中在自身要解決的計算任務(wù)上，將自定義好MapReduce類提交給

2、平臺相應(yīng)的接口處理即可，為開發(fā)和研究云計算服務(wù)、大數(shù)據(jù)業(yè)務(wù)處理帶來極大的便利性。
　　本文的主要研究工作就是基于Hadoop云平臺展開的。論文研究過程中，在VMware虛擬化的服務(wù)器上搭建了四個工作節(jié)點，在這個小集群的基礎(chǔ)上進行智能推薦算法的應(yīng)用研究工作。文中對于Hadoop平臺的部署配置，以及采用MapReduce編程模型為基礎(chǔ)實現(xiàn)分布式的并行化計算的編程方法做了仔細(xì)的學(xué)習(xí)研究。
　　文中研究了物流業(yè)務(wù)平臺的原有客戶關(guān)系等

3、信息，構(gòu)建了基于Hadoop平臺的推薦系統(tǒng)框架，采用離線實驗的方式，從業(yè)務(wù)平臺的Oracle數(shù)據(jù)庫中獲取實驗研究用的原始數(shù)據(jù)，并通過簡單的數(shù)據(jù)ETL功能模塊進行數(shù)據(jù)轉(zhuǎn)換，使數(shù)據(jù)比較適應(yīng)于MapReduce的算法應(yīng)用。文中的智能推薦的方法采用了基于項目的協(xié)同過濾算法，該算法核心是從用戶-項目的評分矩陣之中構(gòu)造出項目間的同現(xiàn)矩陣，進而利用同現(xiàn)矩陣來快速的計算出用戶的興趣物品。該算法的基本實現(xiàn)相對簡單，且在處理一定規(guī)模的數(shù)據(jù)集上效率比較高。研

4、究中，以MapReduce編程模型實現(xiàn)了該算法，將其與物流業(yè)務(wù)平臺相結(jié)合為物流行業(yè)的企業(yè)用戶提供推薦服務(wù)，Hadoop平臺對于數(shù)據(jù)集的分片使得算法的實現(xiàn)出現(xiàn)推薦結(jié)果局部化問題，為了解決該問題，以及現(xiàn)有平臺的數(shù)據(jù)增長規(guī)模的分析和系統(tǒng)結(jié)構(gòu)的綜合分析，提出了利用Redis來構(gòu)建推薦系統(tǒng)的緩存數(shù)據(jù)層以此存儲算法用到的同現(xiàn)矩陣，同時調(diào)整原有算法實現(xiàn)的程序流程，來解決推薦結(jié)果局部化問題。
　　文中對兩種方法在多個評價指標(biāo)上進行了分析比隊。調(diào)整