微博業(yè)務(wù)流解析及管理系統(tǒng).pdf

1、互聯(lián)網(wǎng)的快速發(fā)展深入影響著人們的日常生活。其中，微博作為近年來熱門的實(shí)時(shí)信息分享平臺(tái)，擁有眾多的使用者；每天都會(huì)產(chǎn)生大量的微博數(shù)據(jù)。對(duì)微博數(shù)據(jù)進(jìn)行有效的監(jiān)控和管理是網(wǎng)絡(luò)管理的一項(xiàng)重要內(nèi)容。而海量的網(wǎng)絡(luò)數(shù)據(jù)中存在多種類型的業(yè)務(wù)流，因此，準(zhǔn)確高效地提取出微博業(yè)務(wù)流有重要的意義和應(yīng)用價(jià)值。
　　本文主要研究了網(wǎng)絡(luò)數(shù)據(jù)捕獲技術(shù)、微博業(yè)務(wù)流重組和解析技術(shù)，并在此基礎(chǔ)上設(shè)計(jì)與實(shí)現(xiàn)了一個(gè)高性能的微博業(yè)務(wù)流解析及管理系統(tǒng)。本文所做的具體工作和創(chuàng)新

2、之處列舉如下：
　　1.實(shí)現(xiàn)了基于 PF_RING的網(wǎng)絡(luò)數(shù)據(jù)捕獲機(jī)制。該機(jī)制能夠顯著提高捕獲效率，而且能夠與基于Libpcap捕獲數(shù)據(jù)的應(yīng)用無縫集成，有良好的拓展性。
　　2.改進(jìn)了基于Libnids的TCP重組算法。原基于Libnids的TCP重組算法會(huì)重組捕獲到的所有TCP報(bào)文，其時(shí)間和內(nèi)存消耗巨大，無法滿足本文的設(shè)計(jì)要求。鑒于此，本文結(jié)合微博報(bào)文識(shí)別字段改進(jìn)了重組算法，在識(shí)別微博報(bào)文的基礎(chǔ)上僅針對(duì)微博報(bào)文進(jìn)行重組。由于

3、網(wǎng)絡(luò)中微博報(bào)文所占比例很小，因此，改進(jìn)的重組算法顯著降低了時(shí)空復(fù)雜性。
　　3.本文研究了正則表達(dá)式、Aho-Corasick算法以及Wu-Manber算法解析微博業(yè)務(wù)流的性能，針對(duì)這些算法性能不佳的問題，結(jié)合微博業(yè)務(wù)流中待解析字段在TCP會(huì)話中的分布情況，提出了STLFilter算法；該算法對(duì)微博TCP會(huì)話中待解析的字段進(jìn)行分區(qū)域解析，顯著提高了微博業(yè)務(wù)流解析的效率。
　　4.本文設(shè)計(jì)與實(shí)現(xiàn)的系統(tǒng)利用WebSocket協(xié)議