基于分布式框架的網(wǎng)絡(luò)事件實(shí)時(shí)感知系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，面對(duì)海量數(shù)據(jù)時(shí)，個(gè)人的精力無(wú)法滿足完成提取、獲得全面而精確的信息的任務(wù)的要求，從而掌握一個(gè)特定領(lǐng)域下的趨勢(shì)發(fā)展?；诖吮闾岢隽艘允录问阶鳛檩d體，通過(guò)從不斷處理的新的文檔中提取事件信息，之后合并到舊有信息中，呈現(xiàn)給用戶宏觀上的統(tǒng)計(jì)數(shù)據(jù)和具體分析內(nèi)容，并輔助人們進(jìn)行各類決策?，F(xiàn)階段較為成熟的事件感知系統(tǒng)依賴于大規(guī)模計(jì)算集群，以流式與批量式集合的方式，完成了大數(shù)據(jù)規(guī)模下應(yīng)用的實(shí)現(xiàn)。本文聚焦于在小規(guī)模集群下能夠?qū)崟r(shí)獲取事件結(jié)

2、果，進(jìn)行查詢的總體要求，以流式處理的形式，在增加系統(tǒng)整體處理效率與減少對(duì)算法影響的目標(biāo)下，完成事件感知各項(xiàng)應(yīng)用功能。
　　本文基于上述目標(biāo)，設(shè)計(jì)并開發(fā)了一套分布式處理平臺(tái)，滿足應(yīng)用在各個(gè)環(huán)節(jié)下的應(yīng)用要求。主要的工作包括:1）針對(duì)事件感知應(yīng)用的輸入、輸出，用戶對(duì)象進(jìn)行分析，將系統(tǒng)劃分為三個(gè)模塊，完成系統(tǒng)總體架構(gòu)設(shè)計(jì)。2）在存儲(chǔ)模塊下設(shè)計(jì)了存儲(chǔ)形式，包括MongoDB內(nèi)數(shù)據(jù)的表達(dá)與NAF標(biāo)引格式。3）在處理模塊下，對(duì)事件感知傳統(tǒng)的兩種