SEM廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、SEM（Search Engine Marketing，搜索引擎營(yíng)銷(xiāo)）是在用戶(hù)使用搜索引擎進(jìn)行搜索時(shí)，將希望傳遞的信息顯示給目標(biāo)用戶(hù)的一種推廣方式[1]。推廣方在搜索引擎平臺(tái)對(duì)不同的關(guān)鍵詞進(jìn)行投放，使推廣的頁(yè)面有更高頻率和概率顯示到搜索用戶(hù)面前，使用戶(hù)發(fā)現(xiàn)并通過(guò)點(diǎn)擊進(jìn)入相應(yīng)的頁(yè)面。京東商城每天都有上億的流量訪(fǎng)問(wèn)，商城獲取流量的方式多種多樣，其中SEM是其極其重要的流量來(lái)源。京東商城有大量商品分類(lèi)和具體商品頁(yè)面信息，不同商品分類(lèi)、不同的商

2、品、不同的促銷(xiāo)都有不同的推廣的需求。國(guó)內(nèi)有百度、搜狗、360搜索、神馬搜索幾家主要搜索引擎廠(chǎng)商，運(yùn)營(yíng)人員每天要維護(hù)不同搜索引擎平臺(tái)上推廣賬戶(hù)的SEM投放信息，并需要分析各個(gè)賬戶(hù)的投放效果，以便更新關(guān)鍵詞的投放比例，投放價(jià)格，業(yè)務(wù)邏輯復(fù)雜、數(shù)據(jù)維度多、數(shù)據(jù)量龐大。
　　論文依據(jù)京東商城的實(shí)際需求，設(shè)計(jì)和實(shí)現(xiàn)了SEM廣告數(shù)據(jù)分析系統(tǒng)。該系統(tǒng)維護(hù)京東商城在各家搜索引擎上的所有SEM投放賬號(hào)，自動(dòng)獲取和存儲(chǔ)各個(gè)賬號(hào)在不同平臺(tái)的投放效果數(shù)據(jù)

3、，分析并產(chǎn)出投放報(bào)表，同時(shí)提供統(tǒng)一的有效提高投放效果和投放效率的投放操作。系統(tǒng)主要功能包括數(shù)據(jù)報(bào)表和實(shí)時(shí)投放。系統(tǒng)實(shí)現(xiàn)技術(shù)包括hadoop，hive，pig，oozie，druid，elastic search，node.js，shell，python等，完成數(shù)據(jù)的拉取、聚合、查詢(xún)、修改和媒體端交互等功能。
　　系統(tǒng)設(shè)計(jì)將系統(tǒng)分為fetcher, druid_data_generator, olap_data_loader, ui

4、，save_es，query_es，upload幾個(gè)主要模塊。fetcher模塊主要負(fù)責(zé)從各家搜索引擎的提供的差異化的API，以統(tǒng)一的方式，定時(shí)調(diào)度獲取并經(jīng)格式處理存儲(chǔ)到hive中;druid_data_generator模塊負(fù)責(zé)將拉取的數(shù)據(jù)與商城后臺(tái)的數(shù)據(jù)進(jìn)行各個(gè)維度的聚合;olap_data_loader負(fù)責(zé)將聚合后的數(shù)據(jù)從Hive上傳到druid; ui負(fù)責(zé)從druid查詢(xún)各個(gè)維度的數(shù)據(jù)并顯示;save_es負(fù)責(zé)投放操作的數(shù)據(jù)保存

5、與修改，用于與投放媒體端交互同步數(shù)據(jù);uploader負(fù)責(zé)與媒體端交互，將修改的操作實(shí)時(shí)的上傳到媒體端實(shí)現(xiàn)投放數(shù)據(jù)的實(shí)際修改。
　　本人參與了系統(tǒng)需求分析、設(shè)計(jì)和實(shí)現(xiàn)的全過(guò)程。獨(dú)立設(shè)計(jì)和實(shí)現(xiàn)了fetcher模塊、druid_ data_ loader和save_es的部分功能，實(shí)現(xiàn)了數(shù)據(jù)源的穩(wěn)定抓取、數(shù)據(jù)轉(zhuǎn)化聚合，并完成elasic search數(shù)據(jù)的存儲(chǔ)和性能優(yōu)化。
　　論文實(shí)現(xiàn)的SEM廣告數(shù)據(jù)分析系統(tǒng)系統(tǒng)最終已經(jīng)上線(xiàn)并穩(wěn)