Feed流用戶行為統(tǒng)計(jì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Feed流產(chǎn)品的不斷更新，以及擁有千萬(wàn)級(jí)別的用戶量，可以成為公司的業(yè)務(wù)部門向外推廣自己的產(chǎn)品，策略部門進(jìn)行小流量實(shí)驗(yàn)，推薦部門進(jìn)行優(yōu)化算法的絕佳的平臺(tái)。每個(gè)部門都會(huì)在Feed流日志中加入自己的日志，來(lái)進(jìn)行跟蹤，檢測(cè)自己的產(chǎn)品，算法究竟符不符合大眾的要求，通過(guò)統(tǒng)計(jì)點(diǎn)擊，展現(xiàn)量，時(shí)長(zhǎng)等關(guān)鍵性指標(biāo)來(lái)不斷的優(yōu)化自己的產(chǎn)品、算法。
　　由于越來(lái)越多的部門進(jìn)入Feed流，加之每個(gè)部門都有自己的日志規(guī)范，導(dǎo)致其日志的格式變得越來(lái)越復(fù)雜，而且

2、還會(huì)出現(xiàn)日有覆蓋別部門的日志字段的情況。因?yàn)閿?shù)據(jù)格式的復(fù)雜，導(dǎo)致在解析日志字段的時(shí)候會(huì)相當(dāng)?shù)暮臅r(shí)。往往一些簡(jiǎn)單的需求，由于解析的耗時(shí)，導(dǎo)致完成時(shí)間的延后，而且產(chǎn)出的結(jié)果也不容易進(jìn)行驗(yàn)證，代碼的維護(hù)性也是很差的。當(dāng)日志沒(méi)有按照規(guī)范來(lái)開(kāi)發(fā)，或者日志內(nèi)容被別的業(yè)務(wù)線覆蓋的時(shí)候，沒(méi)有一個(gè)統(tǒng)一的數(shù)據(jù)監(jiān)控平臺(tái)來(lái)監(jiān)測(cè)，報(bào)警并將情況第一時(shí)間反饋給相關(guān)人員進(jìn)行補(bǔ)救。每天要查看的數(shù)據(jù)也沒(méi)有統(tǒng)一的報(bào)表平臺(tái)，以及查詢平臺(tái)。
　　在數(shù)據(jù)方面，由于公司不同業(yè)

3、務(wù)線都是存放在一張大表中，而且只有一個(gè)分區(qū)來(lái)區(qū)分，所以首要任務(wù)是先剝離自己需要的日志，然后再解析，轉(zhuǎn)換字段，根據(jù)ods，dwd，dws，ads層來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，將日志進(jìn)行分散，按照主題進(jìn)行存放，即方便了后續(xù)的業(yè)務(wù)開(kāi)發(fā)，也擴(kuò)展了整體業(yè)務(wù)的靈活性，以及減少了彼此之間的耦合度。在業(yè)務(wù)開(kāi)發(fā)方面，構(gòu)建集數(shù)據(jù)可視化，數(shù)據(jù)查詢，數(shù)據(jù)監(jiān)控功能于一體的系統(tǒng)，開(kāi)發(fā)框架為js+html+springmvc+mybatis，少量的數(shù)據(jù)存儲(chǔ)在mysql中，大量的