技術(shù)報(bào)告-基于dns日志分析的用戶在線檢測(cè)算法與應(yīng)用

1、基于DNS日志分析的用戶在線檢測(cè)算法與應(yīng)用,清華大學(xué) 常得量,目錄,問(wèn)題背景現(xiàn)有方法概述基于DNS方法的特點(diǎn)算法描述算法驗(yàn)證討論與應(yīng)用總結(jié)和未來(lái)工作參考文獻(xiàn),問(wèn)題背景,不同的研究[1-4]從不同的角度測(cè)量用戶在線的行為特征。這些研究都涉及了一個(gè)問(wèn)題：如何判斷設(shè)備或用戶到達(dá)、離開網(wǎng)絡(luò)的時(shí)間，如何識(shí)別用戶或設(shè)備的在線狀態(tài)。,了解設(shè)備的在線狀態(tài)，了解用戶的網(wǎng)絡(luò)特征，被廣泛使用在網(wǎng)絡(luò)管理、網(wǎng)絡(luò)建模、模擬上。對(duì)于網(wǎng)絡(luò)管理者、研究

2、者和開發(fā)者來(lái)說(shuō)都有十分重要的意義。 在大規(guī)模網(wǎng)絡(luò)中，如何通用地測(cè)量大量網(wǎng)絡(luò)設(shè)備的基本信息？,現(xiàn)有方法,基于認(rèn)證系統(tǒng)：使用用戶認(rèn)證方法來(lái)確定用戶在線規(guī)模。只有在要求認(rèn)證的環(huán)境下才有效，適用范圍不廣。同時(shí)會(huì)有隱私問(wèn)題。基于DHCP：使用DHCP租約系統(tǒng)當(dāng)作設(shè)備在線系統(tǒng)。不適用于靜態(tài)IP，無(wú)法準(zhǔn)確判斷設(shè)備離線時(shí)間，同時(shí)有IPv6遷移問(wèn)題?；诟黝悢?shù)據(jù)采集：必須擁有網(wǎng)關(guān)處的管理權(quán)限。這對(duì)于一些網(wǎng)絡(luò)研究者比較困難。其他方法：網(wǎng)絡(luò)游戲服務(wù)器

3、端數(shù)據(jù)采集[4]、基于基站數(shù)據(jù)的方法[5]等等。限制太多，不能為日常的網(wǎng)絡(luò)研究和管理提供太多幫助。,Why DNS log analysis?,通用性：DNS是網(wǎng)絡(luò)的基礎(chǔ)設(shè)施，被幾乎所有網(wǎng)絡(luò)服務(wù)所應(yīng)用。同時(shí)，使用DNS的方法也沒(méi)有IPv6遷移問(wèn)題。方便部署：基于DNS日志分析，不需要更改現(xiàn)有網(wǎng)絡(luò)或增設(shè)大量的測(cè)量節(jié)點(diǎn)。方便增量部署。約束更小：基于DNS的方法不需要擁有網(wǎng)關(guān)的管理權(quán)限。只需要設(shè)備使用提供的DNS服務(wù)即可。適用于大規(guī)模網(wǎng)

4、絡(luò)：DNS日志數(shù)據(jù)量小，處理起來(lái)方便快捷。,在線檢測(cè)算法描述,基于時(shí)間間隔的模型當(dāng)相鄰的DNS請(qǐng)求時(shí)間間隔小于T時(shí)，則視作從同一個(gè)設(shè)備發(fā)出，之前設(shè)備仍然在線。反之，如果相鄰請(qǐng)求間隔大于T，則視作設(shè)備下線。,算法的驗(yàn)證(1),依據(jù)DHCP日志記載的設(shè)備“切換”信息作為真實(shí)值，來(lái)檢測(cè)用戶上下線的時(shí)間判斷是否準(zhǔn)確。使用精確率(precision rate)、召回率(recall rate)和F1-score來(lái)評(píng)價(jià)效果。在閾值T較小時(shí)

5、，召回率保持在一個(gè)很高的水準(zhǔn)，而精確率上升很快。這是因?yàn)樵贒NS分割策略激進(jìn)的情況下，DHCP的判定結(jié)果被很好的概括了，但是卻出現(xiàn)了大量的誤分段現(xiàn)象。,DNS用戶在線檢測(cè)算法效果PR曲線,算法的驗(yàn)證(2),隨著T變大，精確率一直在升高。而召回率出現(xiàn)了緩慢的下降，意味著時(shí)間閾值T可能開始接近并超過(guò)IP釋放的時(shí)間。在判斷閾值T=40分鐘時(shí)，精確率和召回率都達(dá)到最優(yōu)。約為90%。清洗DHCP數(shù)據(jù)標(biāo)定，消除以下的情況，最終召回率最終能達(dá)到9

6、6.3%。 設(shè)備拿到IP地址后未繼續(xù)使用網(wǎng)絡(luò)。設(shè)備未使用DHCP提供的DNS服務(wù)，因而未被DNS日志記錄。,DNS用戶在線檢測(cè)算法效果PR曲線,無(wú)線網(wǎng)的時(shí)域信息,右圖的數(shù)據(jù)采集自是2014年11月某日（星期三）凌晨4:00至第二天凌晨4:00的無(wú)線網(wǎng)絡(luò)。紅色點(diǎn)線是1min內(nèi)新加入用戶的數(shù)量，使用左邊的縱軸；藍(lán)色實(shí)線是用戶的在線數(shù)量，使用右邊的縱軸。無(wú)線網(wǎng)絡(luò)的時(shí)域分析非常明顯地顯示出了清華大學(xué)校園生活的特點(diǎn)。上課時(shí)人數(shù)增加，下課

7、后減少。夜間、午飯和晚飯是大的低谷，課間是小的低谷。無(wú)線網(wǎng)絡(luò)還未覆蓋食堂。用戶不喜歡在吃飯時(shí)間上網(wǎng)。,有線和無(wú)線網(wǎng)絡(luò)的對(duì)比,右圖的數(shù)據(jù)采集同樣時(shí)段的校園有線網(wǎng)絡(luò)。有線網(wǎng)絡(luò)和無(wú)線網(wǎng)絡(luò)顯著不同。總體來(lái)說(shuō)，也是日間用戶多，夜間用戶少。但有線網(wǎng)絡(luò)整體而言更平緩。由于有大量徹夜不關(guān)的設(shè)備，有線網(wǎng)夜間的用戶數(shù)量遠(yuǎn)多于無(wú)線網(wǎng)。有線網(wǎng)用戶的每分鐘加入數(shù)量顯著得更低，變化頻率也更小。早晨6:00，有一個(gè)用戶加入的高峰。這是由于送電瞬間，很

8、多設(shè)備（如NAT路由）會(huì)訪問(wèn)網(wǎng)絡(luò)。這一現(xiàn)象在無(wú)線網(wǎng)絡(luò)中不會(huì)出現(xiàn)。,工作日和周末的對(duì)比,右圖的數(shù)據(jù)采集自2014年11月的一個(gè)星期日的校園無(wú)線網(wǎng)絡(luò)。周末網(wǎng)絡(luò)情況也和工作日有所不同?？傮w來(lái)說(shuō)，峰谷值類似工作日的無(wú)線網(wǎng)絡(luò)。用戶的數(shù)量和活躍程度都減少了?？赡苁且?yàn)橹苣┰跓o(wú)線網(wǎng)覆蓋地區(qū)的人數(shù)變少。不再有明顯的跟課程教學(xué)相關(guān)的變化，而是和城市其他的工作區(qū)域的特征較為相似[5]。,總結(jié),提出了一種基于被動(dòng)DNS分析的用戶/設(shè)備在線檢測(cè)手段，可

9、以識(shí)別設(shè)備到達(dá)和離開網(wǎng)絡(luò)的時(shí)刻，判斷設(shè)備的在線狀態(tài)。達(dá)到90.6%的精確率和96.3%的召回率。,從時(shí)域給出了清華大學(xué)校園網(wǎng)絡(luò)的在線和設(shè)備到達(dá)情況進(jìn)行了測(cè)量。從無(wú)線有線網(wǎng)的對(duì)比和工作日和周末的對(duì)比等方面，分別對(duì)網(wǎng)絡(luò)狀況進(jìn)行了分析，以期對(duì)網(wǎng)絡(luò)管理提出幫助。,進(jìn)一步工作,分析用戶的其他行為特征，以便于更好地了解用戶和網(wǎng)絡(luò)。比如：操作系統(tǒng)使用行為習(xí)慣設(shè)計(jì)異常檢測(cè)算法，應(yīng)用統(tǒng)計(jì)信息分析網(wǎng)絡(luò)異常。實(shí)時(shí)性檢測(cè)，便于日常網(wǎng)絡(luò)管理的使用。,參

10、考文獻(xiàn),[1] Kotz D, Essien K. Analysis of a Campus-Wide Wireless Network[J]. Wireless Networks, 2005, 11(1–2): 115–133.[2] Nuzman C, Saniee I, Sweldens W, et al. A compound model for TCP connection arrivals for LAN and WAN

11、applications[J]. Computer Networks, 2002, 40(3): 319–337.[3] Benevenuto F, Rodrigues T, Cha M, et al. Characterizing User Behavior in Online Social Networks[C]//Proceedings of the 9th ACM Sigcomm Conference on Internet

12、Measurement Conference. New York, NY, USA: ACM, 2009: 49–62.[4] Henderson T, Bhatti S. Modelling User Behaviour in Networked Games[C]//Proceedings of the Ninth ACM International Conference on Multimedia. New York, NY, U