Feed流用戶行為統(tǒng)計(jì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Feed流產(chǎn)品的不斷更新，以及擁有千萬級別的用戶量，可以成為公司的業(yè)務(wù)部門向外推廣自己的產(chǎn)品，策略部門進(jìn)行小流量實(shí)驗(yàn)，推薦部門進(jìn)行優(yōu)化算法的絕佳的平臺。每個部門都會在Feed流日志中加入自己的日志，來進(jìn)行跟蹤，檢測自己的產(chǎn)品，算法究竟符不符合大眾的要求，通過統(tǒng)計(jì)點(diǎn)擊，展現(xiàn)量，時長等關(guān)鍵性指標(biāo)來不斷的優(yōu)化自己的產(chǎn)品、算法。
　　由于越來越多的部門進(jìn)入Feed流，加之每個部門都有自己的日志規(guī)范，導(dǎo)致其日志的格式變得越來越復(fù)雜，而且

2、還會出現(xiàn)日有覆蓋別部門的日志字段的情況。因?yàn)閿?shù)據(jù)格式的復(fù)雜，導(dǎo)致在解析日志字段的時候會相當(dāng)?shù)暮臅r。往往一些簡單的需求，由于解析的耗時，導(dǎo)致完成時間的延后，而且產(chǎn)出的結(jié)果也不容易進(jìn)行驗(yàn)證，代碼的維護(hù)性也是很差的。當(dāng)日志沒有按照規(guī)范來開發(fā)，或者日志內(nèi)容被別的業(yè)務(wù)線覆蓋的時候，沒有一個統(tǒng)一的數(shù)據(jù)監(jiān)控平臺來監(jiān)測，報警并將情況第一時間反饋給相關(guān)人員進(jìn)行補(bǔ)救。每天要查看的數(shù)據(jù)也沒有統(tǒng)一的報表平臺，以及查詢平臺。
　　在數(shù)據(jù)方面，由于公司不同業(yè)

3、務(wù)線都是存放在一張大表中，而且只有一個分區(qū)來區(qū)分，所以首要任務(wù)是先剝離自己需要的日志，然后再解析，轉(zhuǎn)換字段，根據(jù)ods，dwd，dws，ads層來構(gòu)建數(shù)據(jù)倉庫，將日志進(jìn)行分散，按照主題進(jìn)行存放，即方便了后續(xù)的業(yè)務(wù)開發(fā)，也擴(kuò)展了整體業(yè)務(wù)的靈活性，以及減少了彼此之間的耦合度。在業(yè)務(wù)開發(fā)方面，構(gòu)建集數(shù)據(jù)可視化，數(shù)據(jù)查詢，數(shù)據(jù)監(jiān)控功能于一體的系統(tǒng)，開發(fā)框架為js+html+springmvc+mybatis，少量的數(shù)據(jù)存儲在mysql中，大量的