廣告播放質(zhì)量監(jiān)控系統(tǒng)的性能優(yōu)化.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，網(wǎng)站、視頻和移動(dòng)客戶端等各種渠道產(chǎn)生的廣告越來越多，使得廣告播放中產(chǎn)生的日志的數(shù)據(jù)量呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì)。原有廣告質(zhì)量監(jiān)控系統(tǒng)隨著廣告日志數(shù)據(jù)爆發(fā)性增長(zhǎng)，遇到了性能和擴(kuò)展上的瓶頸，變得難以滿足業(yè)務(wù)的擴(kuò)展。如何有效收集、計(jì)算和存儲(chǔ)廣告播放過程中大規(guī)模的日志數(shù)據(jù)來實(shí)時(shí)地分析各地區(qū)的廣告播放情況就成了新的挑戰(zhàn)。
　　大數(shù)據(jù)處理技術(shù)的出現(xiàn)和發(fā)展，為這類問題的解決提供了新的思路。本文針對(duì)原有廣告播放質(zhì)量監(jiān)控系統(tǒng)在性能

2、和可擴(kuò)展性上存在的問題，從數(shù)據(jù)收集，實(shí)時(shí)計(jì)算，數(shù)據(jù)存儲(chǔ)等三方面進(jìn)行優(yōu)化。通過利用大數(shù)據(jù)處理技術(shù)，包括Flume日志收集系統(tǒng)、RocketMQ消息隊(duì)列、Storm實(shí)時(shí)計(jì)算系統(tǒng)和Redis內(nèi)存數(shù)據(jù)庫(kù)等，以提升整個(gè)系統(tǒng)的性能。
　　論文主要工作如下:
　　第一，優(yōu)化了系統(tǒng)的數(shù)據(jù)收集層，引入Flume日志收集系統(tǒng)作為數(shù)據(jù)收集層實(shí)時(shí)導(dǎo)入數(shù)據(jù)，使用RocketMQ替代Redis消息隊(duì)列，解決了Redis列隊(duì)容量受內(nèi)存限制以及消費(fèi)者故障后

3、可以回溯消費(fèi)的需求。
　　第二，實(shí)時(shí)計(jì)算邏輯優(yōu)化。根據(jù)廣告播放系統(tǒng)日志需要多時(shí)間粒度統(tǒng)計(jì)的特點(diǎn)，優(yōu)化計(jì)算邏輯，減少寫Redis緩存的次數(shù)。
　　第三，存儲(chǔ)層次化優(yōu)化。采用統(tǒng)一查詢接口服務(wù)，從而通過配置擴(kuò)容支持Redis按業(yè)務(wù)橫向擴(kuò)展。利用數(shù)據(jù)庫(kù)連接池技術(shù)，以提升統(tǒng)一接口的訪問效率。將熱點(diǎn)緩存清理的方式變成通過RDB文件清理Redis的方式，減少了清理緩存時(shí)使用的內(nèi)存。通過Redis監(jiān)控的可視化，從而可以動(dòng)態(tài)監(jiān)控Redis存儲(chǔ)