互聯(lián)網(wǎng)用戶(hù)上網(wǎng)數(shù)據(jù)采集與行為分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)在中國(guó)得到了普及，網(wǎng)絡(luò)已經(jīng)成為人們獲取和交換信息的重要方式，給人們的生活帶來(lái)了極大的便利。與此同時(shí)，互聯(lián)網(wǎng)用戶(hù)數(shù)量正在迅速增長(zhǎng)。目前，作為國(guó)內(nèi)掌握大量的流量數(shù)據(jù)的網(wǎng)絡(luò)運(yùn)營(yíng)商中國(guó)電信，非常有必要深入挖掘互聯(lián)網(wǎng)流量的價(jià)值，分析互聯(lián)網(wǎng)用戶(hù)行為，促進(jìn)各種業(yè)務(wù)發(fā)展，提升互聯(lián)網(wǎng)用戶(hù)體驗(yàn)。 本文分析了當(dāng)前數(shù)據(jù)采集技術(shù)的原理，設(shè)計(jì)并實(shí)現(xiàn)了一套互聯(lián)網(wǎng)用戶(hù)上網(wǎng)數(shù)據(jù)信息采集與行為分析的系統(tǒng)，整個(gè)系統(tǒng)分為三個(gè)部分：數(shù)據(jù)采集網(wǎng)關(guān)、數(shù)據(jù)存儲(chǔ)服務(wù)器和客

2、戶(hù)端查詢(xún)監(jiān)視平臺(tái)。系統(tǒng)可以對(duì)局域網(wǎng)內(nèi)用戶(hù)上網(wǎng)數(shù)據(jù)進(jìn)行高效率的采集、存儲(chǔ)以及可以從多角度查詢(xún)監(jiān)視用戶(hù)上網(wǎng)行為。 數(shù)據(jù)采集網(wǎng)關(guān)部分采用了在Linux平臺(tái)上同時(shí)擴(kuò)展其內(nèi)核空間與用戶(hù)空間功能的方式。在內(nèi)核空間通過(guò)加載L7-filter開(kāi)源模塊實(shí)現(xiàn)了對(duì)應(yīng)用層協(xié)議數(shù)據(jù)包的鑒別匹配，識(shí)別包含能反應(yīng)用戶(hù)上網(wǎng)行為的HTTP數(shù)據(jù)的IP數(shù)據(jù)包，然后通過(guò)Netlink技術(shù)實(shí)現(xiàn)內(nèi)核空間與用戶(hù)空間通信，把包含HTTP數(shù)據(jù)的IP數(shù)據(jù)包傳送到用戶(hù)空間。用戶(hù)空間