基于Hadoop云平臺(tái)的智能推薦物流系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、開(kāi)源的云平臺(tái)框架Hadoop，隨著互聯(lián)網(wǎng)的高速發(fā)展，也在不斷完善自身推出具有更高性能、更穩(wěn)定的版本，在以數(shù)據(jù)為引導(dǎo)的今日，得到了更加廣泛的關(guān)注。它是Google一個(gè)重要的分布式并行化編程模型MapReduce的開(kāi)源實(shí)現(xiàn)，擁有豐富的服務(wù)接口，可以部署在數(shù)千個(gè)節(jié)點(diǎn)集群中，來(lái)應(yīng)對(duì)海量的數(shù)據(jù)計(jì)算業(yè)務(wù)。對(duì)于實(shí)現(xiàn)并行化的算法程序，使用其MapReduce編程模型，開(kāi)發(fā)者只需要將注意力集中在自身要解決的計(jì)算任務(wù)上，將自定義好MapReduce類(lèi)提交給

2、平臺(tái)相應(yīng)的接口處理即可，為開(kāi)發(fā)和研究云計(jì)算服務(wù)、大數(shù)據(jù)業(yè)務(wù)處理帶來(lái)極大的便利性。
　　本文的主要研究工作就是基于Hadoop云平臺(tái)展開(kāi)的。論文研究過(guò)程中，在VMware虛擬化的服務(wù)器上搭建了四個(gè)工作節(jié)點(diǎn)，在這個(gè)小集群的基礎(chǔ)上進(jìn)行智能推薦算法的應(yīng)用研究工作。文中對(duì)于Hadoop平臺(tái)的部署配置，以及采用MapReduce編程模型為基礎(chǔ)實(shí)現(xiàn)分布式的并行化計(jì)算的編程方法做了仔細(xì)的學(xué)習(xí)研究。
　　文中研究了物流業(yè)務(wù)平臺(tái)的原有客戶(hù)關(guān)系等

3、信息，構(gòu)建了基于Hadoop平臺(tái)的推薦系統(tǒng)框架，采用離線(xiàn)實(shí)驗(yàn)的方式，從業(yè)務(wù)平臺(tái)的Oracle數(shù)據(jù)庫(kù)中獲取實(shí)驗(yàn)研究用的原始數(shù)據(jù)，并通過(guò)簡(jiǎn)單的數(shù)據(jù)ETL功能模塊進(jìn)行數(shù)據(jù)轉(zhuǎn)換，使數(shù)據(jù)比較適應(yīng)于MapReduce的算法應(yīng)用。文中的智能推薦的方法采用了基于項(xiàng)目的協(xié)同過(guò)濾算法，該算法核心是從用戶(hù)-項(xiàng)目的評(píng)分矩陣之中構(gòu)造出項(xiàng)目間的同現(xiàn)矩陣，進(jìn)而利用同現(xiàn)矩陣來(lái)快速的計(jì)算出用戶(hù)的興趣物品。該算法的基本實(shí)現(xiàn)相對(duì)簡(jiǎn)單，且在處理一定規(guī)模的數(shù)據(jù)集上效率比較高。研

4、究中，以MapReduce編程模型實(shí)現(xiàn)了該算法，將其與物流業(yè)務(wù)平臺(tái)相結(jié)合為物流行業(yè)的企業(yè)用戶(hù)提供推薦服務(wù)，Hadoop平臺(tái)對(duì)于數(shù)據(jù)集的分片使得算法的實(shí)現(xiàn)出現(xiàn)推薦結(jié)果局部化問(wèn)題，為了解決該問(wèn)題，以及現(xiàn)有平臺(tái)的數(shù)據(jù)增長(zhǎng)規(guī)模的分析和系統(tǒng)結(jié)構(gòu)的綜合分析，提出了利用Redis來(lái)構(gòu)建推薦系統(tǒng)的緩存數(shù)據(jù)層以此存儲(chǔ)算法用到的同現(xiàn)矩陣，同時(shí)調(diào)整原有算法實(shí)現(xiàn)的程序流程，來(lái)解決推薦結(jié)果局部化問(wèn)題。
　　文中對(duì)兩種方法在多個(gè)評(píng)價(jià)指標(biāo)上進(jìn)行了分析比隊(duì)。調(diào)整