微博業(yè)務(wù)流解析及管理系統(tǒng).pdf

1、互聯(lián)網(wǎng)的快速發(fā)展深入影響著人們的日常生活。其中，微博作為近年來熱門的實時信息分享平臺，擁有眾多的使用者；每天都會產(chǎn)生大量的微博數(shù)據(jù)。對微博數(shù)據(jù)進行有效的監(jiān)控和管理是網(wǎng)絡(luò)管理的一項重要內(nèi)容。而海量的網(wǎng)絡(luò)數(shù)據(jù)中存在多種類型的業(yè)務(wù)流，因此，準確高效地提取出微博業(yè)務(wù)流有重要的意義和應(yīng)用價值。
　　本文主要研究了網(wǎng)絡(luò)數(shù)據(jù)捕獲技術(shù)、微博業(yè)務(wù)流重組和解析技術(shù)，并在此基礎(chǔ)上設(shè)計與實現(xiàn)了一個高性能的微博業(yè)務(wù)流解析及管理系統(tǒng)。本文所做的具體工作和創(chuàng)新

2、之處列舉如下：
　　1.實現(xiàn)了基于 PF_RING的網(wǎng)絡(luò)數(shù)據(jù)捕獲機制。該機制能夠顯著提高捕獲效率，而且能夠與基于Libpcap捕獲數(shù)據(jù)的應(yīng)用無縫集成，有良好的拓展性。
　　2.改進了基于Libnids的TCP重組算法。原基于Libnids的TCP重組算法會重組捕獲到的所有TCP報文，其時間和內(nèi)存消耗巨大，無法滿足本文的設(shè)計要求。鑒于此，本文結(jié)合微博報文識別字段改進了重組算法，在識別微博報文的基礎(chǔ)上僅針對微博報文進行重組。由于

3、網(wǎng)絡(luò)中微博報文所占比例很小，因此，改進的重組算法顯著降低了時空復(fù)雜性。
　　3.本文研究了正則表達式、Aho-Corasick算法以及Wu-Manber算法解析微博業(yè)務(wù)流的性能，針對這些算法性能不佳的問題，結(jié)合微博業(yè)務(wù)流中待解析字段在TCP會話中的分布情況，提出了STLFilter算法；該算法對微博TCP會話中待解析的字段進行分區(qū)域解析，顯著提高了微博業(yè)務(wù)流解析的效率。
　　4.本文設(shè)計與實現(xiàn)的系統(tǒng)利用WebSocket協(xié)議