高并發(fā)下的全國(guó)零售戶信息采集和應(yīng)用.pdf

1、截止目前企業(yè)面向的零售戶量已經(jīng)突破900萬(wàn)，隨著信息化和數(shù)據(jù)化的加深，采集零售戶數(shù)據(jù)和信息也是勢(shì)在必行的。面對(duì)900萬(wàn)的用戶量，隨之引起問(wèn)題的是服務(wù)器的訪問(wèn)量急劇上升，數(shù)據(jù)量呈爆炸式增長(zhǎng)。以企業(yè)目前的服務(wù)器等硬件設(shè)備已經(jīng)無(wú)法滿足高并發(fā)、大數(shù)據(jù)的需求。如果只是增加多臺(tái)服務(wù)器組成服務(wù)器集群，提高硬件、軟件的性能，來(lái)解決大量用戶并發(fā)請(qǐng)求和大數(shù)據(jù)處理的問(wèn)題，這顯然并不是很好的辦法。
　　本文通過(guò)分析和對(duì)比傳統(tǒng)的數(shù)據(jù)采集模式和企業(yè)業(yè)務(wù)類型，

2、設(shè)計(jì)了一種基于移動(dòng)端的數(shù)據(jù)采集模式。并詳細(xì)的分析了該數(shù)據(jù)采集模型，為了滿足企業(yè)的要求和用戶的需求，針對(duì)新型采集模式面對(duì)的高并發(fā)、大數(shù)據(jù)處理的問(wèn)題，進(jìn)一步分析和研究了負(fù)載均衡調(diào)度策略，并根據(jù)基于高并發(fā)的特征和調(diào)度算法的特點(diǎn)，在多時(shí)間片輪詢調(diào)度機(jī)制的基礎(chǔ)上提出了基于任務(wù)請(qǐng)求預(yù)測(cè)的動(dòng)態(tài)調(diào)整負(fù)載均衡算法。并通過(guò)分析多維Markov鏈和排隊(duì)論對(duì)算法進(jìn)行進(jìn)一步的調(diào)整和改進(jìn)，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，該算法較好地提高了整體系統(tǒng)的性能和負(fù)載。具體研究?jī)?nèi)容如下:

3、r>　　1)本文通過(guò)對(duì)比傳統(tǒng)數(shù)據(jù)采集方法，根據(jù)目前企業(yè)的業(yè)務(wù)類型和數(shù)據(jù)請(qǐng)求特征，設(shè)計(jì)了一種基于分布式策略的新型數(shù)據(jù)采集模型，該模型將APP和微信企業(yè)號(hào)作為數(shù)據(jù)采集的入口，并且組建服務(wù)器集群對(duì)高并發(fā)業(yè)務(wù)進(jìn)行調(diào)度處理。使用基于Hadoop平臺(tái)的策略創(chuàng)建了數(shù)據(jù)中心，并對(duì)數(shù)據(jù)進(jìn)行了分析和處理。其中對(duì)全國(guó)零售戶請(qǐng)求的業(yè)務(wù)類型和提交的數(shù)據(jù)性質(zhì)，對(duì)該模型進(jìn)行了初步優(yōu)化處理。并通過(guò)分析模型系統(tǒng)中的層次結(jié)構(gòu)和技術(shù)要點(diǎn)，提出了在高并發(fā)環(huán)境下，如何高效地調(diào)度

4、任務(wù)請(qǐng)求和調(diào)整服務(wù)器節(jié)點(diǎn)的負(fù)載的問(wèn)題，并在后文進(jìn)行了分析和解決。
　　2)深入研究了基于CPU和MEM的調(diào)度算法，根據(jù)實(shí)際任務(wù)請(qǐng)求的特征，改進(jìn)并提出了基于預(yù)測(cè)機(jī)制的負(fù)載均衡調(diào)度算法。各個(gè)服務(wù)器節(jié)點(diǎn)會(huì)收集其它節(jié)點(diǎn)的負(fù)載情況，并預(yù)測(cè)網(wǎng)絡(luò)請(qǐng)求的業(yè)務(wù)類型和到達(dá)率，動(dòng)態(tài)的調(diào)整請(qǐng)求的分發(fā)，減少請(qǐng)求的等待時(shí)間，并縮短服務(wù)器的閑置時(shí)間，達(dá)到資源的有效利用，最終使系統(tǒng)的整體負(fù)載達(dá)到均衡狀態(tài)。通過(guò)實(shí)驗(yàn)驗(yàn)證，該算法在縮短響應(yīng)時(shí)間方面具有良好的性能，并且

5、比基于CPU和MEM的調(diào)度算法性能更好。
　　3)針對(duì)基于預(yù)測(cè)機(jī)制的負(fù)載均衡算法本身存在的不足，利用排隊(duì)論的知識(shí)，對(duì)網(wǎng)絡(luò)服務(wù)器方面的負(fù)載進(jìn)行了優(yōu)化，合理的安排任務(wù)請(qǐng)求的等待、處理和掛起。通過(guò)分析多維Markov的機(jī)制，對(duì)后續(xù)網(wǎng)絡(luò)請(qǐng)求的特征和聯(lián)系進(jìn)行預(yù)測(cè)。通過(guò)分析多時(shí)間片輪詢策略，提出了基于預(yù)測(cè)的Markov排隊(duì)模型。經(jīng)過(guò)實(shí)驗(yàn)的驗(yàn)證和分析，該模型較好的協(xié)調(diào)各服務(wù)器節(jié)點(diǎn)的負(fù)載狀況，合理的分發(fā)后續(xù)到達(dá)的網(wǎng)絡(luò)請(qǐng)求，減小響應(yīng)時(shí)間。