面向互聯(lián)網(wǎng)用戶(hù)的個(gè)性化廣告推送服務(wù)研究——基于Hadoop.pdf

1、近年來(lái)，隨著寬帶互聯(lián)網(wǎng)的迅速發(fā)展以及網(wǎng)民數(shù)量不斷攀升，互聯(lián)網(wǎng)上的廣告推送服務(wù)迎來(lái)了新的商機(jī)，已經(jīng)得到了眾多的門(mén)戶(hù)網(wǎng)站、購(gòu)物網(wǎng)站以及社交網(wǎng)站等的關(guān)注。在互聯(lián)網(wǎng)廣告推送服務(wù)中，網(wǎng)站將其廣告位以有償使用的方式提供給廣告主投放廣告。廣告主在使用廣告推送服務(wù)時(shí)，一方面希望提高產(chǎn)品廣告的推送效果，即將廣告及時(shí)準(zhǔn)確地推送給對(duì)此類(lèi)產(chǎn)品感興趣的目標(biāo)客戶(hù);另一方面，還希望擴(kuò)大廣告推送的范圍，即將廣告推送給更多的目標(biāo)客戶(hù)。為此，就出現(xiàn)了一種由數(shù)據(jù)管理平臺(tái)(D

2、MP)和需求方平臺(tái)(DSP)組成的新的廣告推送運(yùn)營(yíng)模式。在這種運(yùn)營(yíng)模式中，數(shù)據(jù)管理平臺(tái)主要負(fù)責(zé)收集到各方的用戶(hù)數(shù)據(jù)，并對(duì)收集到的用戶(hù)數(shù)據(jù)進(jìn)行分析，最終得到用戶(hù)的興趣特征;DSP則將DMP中用戶(hù)特征數(shù)據(jù)作為數(shù)據(jù)輸入，廣告主自定義其競(jìng)價(jià)規(guī)則，最終由DSP平臺(tái)運(yùn)營(yíng)商將廣告推送給用戶(hù)。
　　互聯(lián)網(wǎng)寬帶提供商(ISP)作為提供互聯(lián)網(wǎng)的服務(wù)商，相對(duì)于單個(gè)電子門(mén)戶(hù)網(wǎng)站，其覆蓋的用戶(hù)數(shù)量要大得多，其用戶(hù)群體分布非常廣泛。一個(gè)用戶(hù)在使用ISP提供的

3、互聯(lián)網(wǎng)訪(fǎng)問(wèn)服務(wù)時(shí)，在ISP的日志中留下了該用戶(hù)訪(fǎng)問(wèn)所有網(wǎng)站的記錄。這些日志數(shù)據(jù)蘊(yùn)含著更為全面的用戶(hù)興趣特征?？梢?jiàn)，經(jīng)由ISP的日志中分析出的用戶(hù)興趣特征數(shù)據(jù)在互聯(lián)網(wǎng)廣告推送服務(wù)應(yīng)用中具有得天獨(dú)厚的優(yōu)勢(shì)，其成為DMP的重要數(shù)據(jù)來(lái)源。
　　為此，本課題以某運(yùn)營(yíng)商的用戶(hù)寬帶訪(fǎng)問(wèn)記錄為基礎(chǔ)數(shù)據(jù)，在數(shù)據(jù)管理平臺(tái)中對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行分析得到用戶(hù)的興趣特征庫(kù)，在此基礎(chǔ)上利用信息推送技術(shù)、個(gè)性化廣告推送技術(shù)等，設(shè)計(jì)并實(shí)現(xiàn)了一種基于MapReduce并

4、行框架的個(gè)性化廣告推送服務(wù)系統(tǒng)。
　　首先，本文對(duì)面向互聯(lián)網(wǎng)用戶(hù)的個(gè)性化廣告推送服務(wù)進(jìn)行了需求描述，并設(shè)計(jì)了個(gè)性化廣告推送服務(wù)系統(tǒng)的總體架構(gòu)。對(duì)個(gè)性化廣告推送服務(wù)的數(shù)據(jù)輸入的數(shù)據(jù)管理平臺(tái)也進(jìn)行了深入的闡述，主要針對(duì)其中識(shí)別有效的cookie項(xiàng)聚合session，最終達(dá)到識(shí)別日志文件中的獨(dú)立用戶(hù)。
　　然后，本文考慮MapReduce在大數(shù)據(jù)處理上所具有的優(yōu)勢(shì)，試圖將MapReduce與傳統(tǒng)的實(shí)時(shí)競(jìng)價(jià)方法相結(jié)合，提出了一種分布

5、式的實(shí)時(shí)競(jìng)價(jià)算法，并將之運(yùn)用于個(gè)性化廣告推送服務(wù)中。本文以Hadoop集群框架為基礎(chǔ)，設(shè)計(jì)了分布式MR-RTB算法實(shí)現(xiàn)高效的廣告主的實(shí)時(shí)競(jìng)價(jià)算法，并將其運(yùn)用到廣告推送服務(wù)中。MR-RTB算法中的核心在設(shè)計(jì)了高效的數(shù)據(jù)分區(qū)策略和連接查詢(xún)處理算法，本課題中利用Hash函數(shù)設(shè)計(jì)的數(shù)據(jù)分區(qū)策略可以避免節(jié)點(diǎn)的頻繁加入和退出，極大限度的減少平均響應(yīng)時(shí)間。
　　最后，本課題中采用合適的Hadoop開(kāi)源平臺(tái)和Eclipse開(kāi)發(fā)環(huán)境對(duì)廣告推送服務(wù)進(jìn)