OLAP在視頻網(wǎng)站日志分析中的應(yīng)用.pdf

1、網(wǎng)絡(luò)視頻已經(jīng)成為繼門(mén)戶、搜索引擎之后又一熱門(mén)互聯(lián)網(wǎng)應(yīng)用。視頻網(wǎng)站不僅需要提供優(yōu)質(zhì)的視頻內(nèi)容和良好的用戶體驗(yàn)，還必須具備分析運(yùn)營(yíng)數(shù)據(jù)的能力，從而及時(shí)做出決策。
　　 互聯(lián)網(wǎng)環(huán)境中，信息的時(shí)效性對(duì)企業(yè)具有重要意義，因此視頻網(wǎng)站要求分析軟件能夠提供實(shí)時(shí)多維分析功能，能夠?qū)σ曨l流數(shù)據(jù)做精確地統(tǒng)計(jì)。本文在討論了現(xiàn)有的網(wǎng)站分析技術(shù)之后，說(shuō)明了這些技術(shù)只能對(duì)網(wǎng)頁(yè)訪問(wèn)進(jìn)行統(tǒng)計(jì)，延時(shí)較大，在時(shí)間粒度上無(wú)法提供分鐘級(jí)別的分析，數(shù)據(jù)準(zhǔn)確度不夠，因此不

2、能滿足視頻網(wǎng)站的分析需求。
　　 本文分析了視頻網(wǎng)站分析的需求，基于數(shù)據(jù)倉(cāng)庫(kù)理論提出了對(duì)視頻網(wǎng)站實(shí)時(shí)運(yùn)營(yíng)數(shù)據(jù)進(jìn)行OLAP的解決方案。
　　 該方案首先定義了一套新的用戶行為跟蹤機(jī)制。該跟蹤機(jī)制通過(guò)改造網(wǎng)站客戶端，使之能將預(yù)定義的用于統(tǒng)計(jì)的事件發(fā)送到分析日志服務(wù)器上。該分析日志不同于傳統(tǒng)的服務(wù)器日志，它不是對(duì)頁(yè)面訪問(wèn)的記錄信息，而是對(duì)用戶行為和視頻插件事件的記錄，是精確分析的基礎(chǔ)。
　　 該方案設(shè)計(jì)了一個(gè)具有實(shí)時(shí)E

3、TL功能的數(shù)據(jù)準(zhǔn)備區(qū)，使用分析日志根據(jù)一個(gè)有限自動(dòng)狀態(tài)機(jī)模型來(lái)維護(hù)用戶會(huì)話集合。用戶會(huì)話中含有描述網(wǎng)站用戶的數(shù)據(jù)結(jié)構(gòu)，通過(guò)每分鐘對(duì)用戶會(huì)話集合進(jìn)行采樣，能夠得到最細(xì)節(jié)的基礎(chǔ)事實(shí)數(shù)據(jù)來(lái)填充數(shù)據(jù)倉(cāng)庫(kù)。
　　 在數(shù)據(jù)展現(xiàn)區(qū)，本文按照視頻網(wǎng)站運(yùn)營(yíng)者的需求定義了維度模型，并使用OLAP引擎提供最新的多維數(shù)據(jù)。
　　 由于基礎(chǔ)事實(shí)數(shù)據(jù)以流數(shù)據(jù)形式產(chǎn)生，數(shù)量大，速度變化快，因此對(duì)數(shù)據(jù)倉(cāng)庫(kù)的更新效率和物理存儲(chǔ)都提出了挑戰(zhàn)。本文引入流立方