kad絡(luò)文件名分類研究 - 頁面沒有找到

1、Kad網(wǎng)絡(luò)節(jié)點(diǎn)資源探測(cè)分析?劉祥濤12，龔才春3，劉悅1，白碩11（中國(guó)科學(xué)院計(jì)算技術(shù)研究所北京100190）2（中國(guó)科學(xué)院研究生院北京100190）3（北京市計(jì)算中心北京100005）摘要Kad網(wǎng)絡(luò)中存在數(shù)以億計(jì)的共享資源，而其中有相當(dāng)一部分可被評(píng)定為敏感資源。首先用我們的Kad網(wǎng)絡(luò)采集器：Rainbow對(duì)節(jié)點(diǎn)擁有的文件資源進(jìn)行探測(cè)；然后對(duì)節(jié)點(diǎn)資源和敏感資源進(jìn)行相關(guān)統(tǒng)計(jì)分析。我們發(fā)現(xiàn)：1)文件流行度和文件所對(duì)應(yīng)的文件名數(shù)量都近似符合Z

2、ipf分布；2)利用同一個(gè)“文件內(nèi)容哈希”(即filecontenthash)的多個(gè)文件名的共現(xiàn)詞可以更準(zhǔn)確地進(jìn)行敏感判別；3)敏感資源占隨機(jī)樣本的6.34%，且敏感資源中74.8%為video文件。關(guān)鍵詞關(guān)鍵詞對(duì)等網(wǎng)絡(luò)；Kad網(wǎng)絡(luò)；探測(cè)分析；敏感資源PeerResourceMeasurementAnalysisinKadwkLiuXiangTao12GongCaiChun3LiuYue1BaiShuo11(InstituteofCom

3、putingTechnologyChineseAcademyofSciencesBeijing100190)2(GraduateUniversityChineseAcademyofSciencesBeijing100190)3(BeijingComputingCenterBeijing100005)AbstractInKadwktherearehundredsofmillionsofsharedresourcesamongwhichac

4、onsiderablepartcanberatedassensitiveresources.FirstlythefileresourcesofpeersaremeasuredusingourKadwkcrawler:Rainbowthenthoseresourcessensitiveresourcesarestatisticallyanalyzed.Wefindthat:1)boththepopularityoffilesthenumb

5、eroffilenamescrespondingtoafileapproximatelyfitZipfdistribution2)thesensitivityoffilescanbejudgedmeaccuratelyusingcooccurrencewdsinmultiplefilenamescrespondingtothesamefilecontenthash3)sensitiveresourcesonlyoccupy6.34%of

6、romsample74.8%ofsensitiveresourcesarevideofiles.KeywdsPeertopeerwkKadwkmeasurementanalysissensitiveresource1引言引言eMule網(wǎng)絡(luò)[1]是一種混合類型的文件共享對(duì)等網(wǎng)絡(luò)，它由兩部分：集中式網(wǎng)絡(luò)和純分布式網(wǎng)絡(luò)組成。其中純分布式網(wǎng)絡(luò)采用了Kademlia協(xié)議[2]，是eMule網(wǎng)絡(luò)的主要組成部分。一般來說，采用Kademlia協(xié)議的e

7、Mule網(wǎng)絡(luò)稱為Kad網(wǎng)絡(luò)。Ipoque2008~2009年度的因特網(wǎng)流量報(bào)告表明：依地理位置的不同，eMule占P2P流量的2%~47%，占因特網(wǎng)流量?基金項(xiàng)目：基金項(xiàng)目：本課題得到國(guó)家自然科學(xué)基金（No.60803085No.60873245）；國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)（2006AA01Z452）的資助。作者簡(jiǎn)介：作者簡(jiǎn)介：劉祥濤，男，1977年生，博士研究生，研究方向：P2P網(wǎng)絡(luò)安全，數(shù)據(jù)挖掘等，Email：..龔才春

8、，男，1978年生，博士，研究方向：信息檢索，數(shù)據(jù)挖掘等.劉悅，女，1971年生，副研究員，研究方向：信息檢索，社區(qū)挖掘與分析，分布式計(jì)算等.白碩，男，1956年生，博士，研究員，博士生導(dǎo)師，研究方向：自然語言處理，網(wǎng)絡(luò)安全等.文件分為3個(gè)類別：敏感文件、正常文件、忽略文件，分別簡(jiǎn)稱C1、C2和C3類文件。定義定義1.1.敏感文件(C1類文件)：其內(nèi)容不合適讓特定人群瀏覽的文件。比如：文件名為“風(fēng)騷的女子_俄羅斯.rar”的文件是敏感文

9、件。又比如：“WaterMelonscd1.www.EMuleX.es.avi”單從文件名看不出是否敏感，但通過搜索引擎查找相關(guān)信息可以獲知是一個(gè)色情敏感電影。定義2.2.正常文件(C2類文件)：其內(nèi)容合適讓特定人群瀏覽的文件。比如：“漢初軍事史研究.pdf”是一個(gè)正常的電子書文件；“ThePointerSistersAutomatic.mp3”是一個(gè)正常的音樂文件。定義定義3.3.忽略文件(C3類文件)：因?yàn)槲募捌湎嚓P(guān)信息不足或因

10、為語言差異以至不能正確區(qū)分某文件是否敏感或正常的文件。比如：“.bmp”、“0094.gif”和“(Reggaeton)TitoYHectGataSalvaje.mp3”都是忽略文件。3相關(guān)工作相關(guān)工作對(duì)等網(wǎng)絡(luò)爬蟲探測(cè)工作開展較早，2002年，Saroiu等人率先使用主動(dòng)測(cè)量方法對(duì)當(dāng)時(shí)最為流行的Gnutella和Napster進(jìn)行了拓?fù)錅y(cè)量[6]。2005年，Stutzbach等人在前人的工作基礎(chǔ)上改進(jìn)了主動(dòng)測(cè)量方法并開發(fā)出了快速分布式

11、Gnutella拓?fù)洳杉鳎篊ruiser，證明了因?yàn)楣?jié)點(diǎn)震蕩(churn)和采集器采集速度太慢可能導(dǎo)致錯(cuò)誤的實(shí)驗(yàn)結(jié)論[7]。因此，使得提高Crawler的采集速度成為提高拓?fù)錅y(cè)量準(zhǔn)確性的關(guān)鍵問題。2008年，王勇等人針對(duì)Gnutella網(wǎng)絡(luò)設(shè)計(jì)了基于正反饋的分布式Gnutella拓?fù)洳杉鳎篋Crawler，提出了度量采集器準(zhǔn)確性、完整性的衡量指標(biāo)，分析了Gnutella網(wǎng)絡(luò)拓?fù)鋱D的度等級(jí)分布特征、度頻率分布特征以及小世界特性[10]

12、。Kademlia協(xié)議的實(shí)現(xiàn)有Kad網(wǎng)絡(luò)和Bittrent的DHT網(wǎng)絡(luò)等。2006年Stutzbach等人針對(duì)Kad網(wǎng)絡(luò)提出了計(jì)算查詢性能的分析框架，并開發(fā)出了兩個(gè)軟件：kFetch和kLookup用于采集和計(jì)算Kad網(wǎng)絡(luò)的查詢性能[8]。2006年Stutzbach等人對(duì)三個(gè)P2P網(wǎng)絡(luò)：Gnutella、Kad網(wǎng)絡(luò)和Bittrent進(jìn)行了測(cè)量分析，針對(duì)Kad網(wǎng)絡(luò)，他們用Cruiser采集了兩天的拓?fù)鋽?shù)據(jù)，然后對(duì)節(jié)點(diǎn)可用性進(jìn)行了分析[9

13、]。2007年Steiner等人設(shè)計(jì)了Kad網(wǎng)絡(luò)采集器：Blizzard并進(jìn)行了為期179天的Kad網(wǎng)絡(luò)采集，獲得了節(jié)點(diǎn)的地理分布、會(huì)話時(shí)間、節(jié)點(diǎn)可用性和生命周期等測(cè)度的測(cè)量結(jié)果[11][12][13]。2007年Falkner等人在PlaLab實(shí)驗(yàn)條件下，對(duì)Bittrent的一個(gè)客戶端Azureus的DHT網(wǎng)絡(luò)進(jìn)行了測(cè)量[14]。與節(jié)點(diǎn)資源分析相關(guān)的工作有對(duì)等網(wǎng)絡(luò)垃圾過濾(P2PSpamFiltering)等，2005年，J.Lian