IDC網(wǎng)站分析系統(tǒng)存儲處理的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的不斷擴大和WWW業(yè)務(wù)的飛速發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)的用戶越來越關(guān)注托管服務(wù)器的安全以及IDC網(wǎng)絡(luò)的性能，在這種需求下，運營商迫切需要一套能夠監(jiān)測、分析WEB服務(wù)器運行狀態(tài)的網(wǎng)站監(jiān)測分析系統(tǒng)。此外，監(jiān)控WEB服務(wù)器的狀態(tài)，進而研究用戶的訪問特征，也是整個網(wǎng)絡(luò)行為研究、服務(wù)規(guī)劃和網(wǎng)絡(luò)優(yōu)化的基礎(chǔ)。
　　 本文在研究IDC運營支撐需求的基礎(chǔ)上，針對海量數(shù)據(jù)存儲問題，分析研究了現(xiàn)有的存儲數(shù)據(jù)庫，設(shè)計并實現(xiàn)了一個基于L

2、inux平臺的網(wǎng)站服務(wù)器監(jiān)測和分析系統(tǒng)。論文主要工作如下：
　　 ①系統(tǒng)框架的設(shè)計
　　 在分析當前互聯(lián)網(wǎng)發(fā)展以及IDC運營支撐需求的基礎(chǔ)上，給出了系統(tǒng)的總體結(jié)構(gòu)和各子系統(tǒng)的設(shè)計。系統(tǒng)整體分為數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲和上層管理四個子系統(tǒng)。
　　 ②給出數(shù)據(jù)存儲子系統(tǒng)的詳細設(shè)計和實現(xiàn)
　　 為滿足數(shù)據(jù)的快速檢索和長期海量數(shù)據(jù)存儲，本系統(tǒng)設(shè)計了三種類型表：統(tǒng)計表、粒度表和輔助表。利用Berkeley DB

3、存儲基礎(chǔ)數(shù)據(jù)，MySQL存儲查詢數(shù)據(jù)，配合處理子系統(tǒng)中的方法實現(xiàn)了海量數(shù)據(jù)的快速存儲和查詢。
　　 ③給出數(shù)據(jù)處理子系統(tǒng)的詳細設(shè)計和實現(xiàn)
　　 該部分由五個功能模塊組成：數(shù)據(jù)通信模塊、數(shù)據(jù)緩存模塊、用戶過濾模塊、數(shù)據(jù)處理模塊以及數(shù)據(jù)庫寫入模塊。數(shù)據(jù)通信模塊利用多線程和網(wǎng)絡(luò)編程解決數(shù)據(jù)處理子系統(tǒng)和數(shù)據(jù)采集子系統(tǒng)間的數(shù)據(jù)交互問題；用戶過濾模塊利用哈希算法實現(xiàn)了大量數(shù)據(jù)的過濾；數(shù)據(jù)處理模塊利用哈希和小頂堆的數(shù)據(jù)結(jié)構(gòu)和算法，對數(shù)