面向大規(guī)模流量的音視頻資源在線溯源關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)絡作為一個開放式的平臺，有一系列的讓用戶可以分享資源給他人的服務，網(wǎng)盤、資源共享網(wǎng)站等一鍵下載資源服務由于其操作簡單、下載速度快等特點成為音視頻資源最主要的分享途徑，同時這類服務稱為 CLS服務。如何從骨干網(wǎng)節(jié)點海量的網(wǎng)絡流量中獲取下載CLS音視頻資源HTTP會話的分享鏈接對于骨干網(wǎng)流量的網(wǎng)絡審查、網(wǎng)絡取證、網(wǎng)絡流量監(jiān)控、視頻版權(quán)保護、復雜網(wǎng)路環(huán)境信息內(nèi)容唯一標識、海量流量中的數(shù)據(jù)鏈接匯聚和關(guān)聯(lián)，提取網(wǎng)絡流對象等具有重要意義。

2、　　為此，本文研究了一種基于追蹤下載資源用戶cookie的在線溯源方法。該方法首先從骨干網(wǎng)節(jié)點的海量流量中識別出傳輸音視頻資源的HTTP會話并針對依次到達的資源數(shù)據(jù)包碎片使用累積哈希的方法計算資源的標識 ID；然后，根據(jù) HTTP話單的cookie相似度分析，利用倒排索引的方法攫取下載資源對應的URL跳轉(zhuǎn)鏈；最后通過提取同一資源對應的多個URL跳轉(zhuǎn)鏈的唯一公共節(jié)點實現(xiàn)最終的溯源。進一步，本文實際開發(fā)了一個針對骨干網(wǎng)節(jié)點流量的CLS音視頻

3、資源溯源系統(tǒng)—cookieTracking。該系統(tǒng)采用了分布式流量處理架構(gòu)，前端基于流量捕獲平臺獲取TCP流量，解析所需HTTP話單，識別下載資源HTTP會話計算其資源ID，并通過socket以及Google Protocol Buffer發(fā)送至后端的流量處理服務器；后端負責下載資源HTTP話單的溯源：首先，采用了Reactor模式的事件處理設計，主線程將前端發(fā)送的消息放入HTTP話單隊列，多個工作線程通過哈希表建立cookie項及l(fā)o

4、cation與HTTP會話的關(guān)聯(lián)；其次，溯源線程根據(jù)倒排索引的方法追蹤關(guān)鍵cookie進而獲取URL跳轉(zhuǎn)鏈，入口頁面追溯線程通過合并同一資源對應的多個URL跳轉(zhuǎn)鏈的唯一公共節(jié)點實現(xiàn)溯源。最后，通過爬蟲程序訪問該分享鏈接，比較前后下載資源的ID值驗證系統(tǒng)溯源的正確性。此外，cookieTracking采用了前端數(shù)據(jù)包接受及發(fā)送的零拷貝技術(shù)、工作線程數(shù)目動態(tài)調(diào)整機制、線程池機制優(yōu)化系統(tǒng)的性能。
　　實驗結(jié)果顯示在平均帶寬為2Gpbs的