基于分布式框架的網(wǎng)絡(luò)事件實時感知系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，面對海量數(shù)據(jù)時，個人的精力無法滿足完成提取、獲得全面而精確的信息的任務(wù)的要求，從而掌握一個特定領(lǐng)域下的趨勢發(fā)展?；诖吮闾岢隽艘允录问阶鳛檩d體，通過從不斷處理的新的文檔中提取事件信息，之后合并到舊有信息中，呈現(xiàn)給用戶宏觀上的統(tǒng)計數(shù)據(jù)和具體分析內(nèi)容，并輔助人們進行各類決策?，F(xiàn)階段較為成熟的事件感知系統(tǒng)依賴于大規(guī)模計算集群，以流式與批量式集合的方式，完成了大數(shù)據(jù)規(guī)模下應(yīng)用的實現(xiàn)。本文聚焦于在小規(guī)模集群下能夠?qū)崟r獲取事件結(jié)

2、果，進行查詢的總體要求，以流式處理的形式，在增加系統(tǒng)整體處理效率與減少對算法影響的目標下，完成事件感知各項應(yīng)用功能。
　　本文基于上述目標，設(shè)計并開發(fā)了一套分布式處理平臺，滿足應(yīng)用在各個環(huán)節(jié)下的應(yīng)用要求。主要的工作包括:1）針對事件感知應(yīng)用的輸入、輸出，用戶對象進行分析，將系統(tǒng)劃分為三個模塊，完成系統(tǒng)總體架構(gòu)設(shè)計。2）在存儲模塊下設(shè)計了存儲形式，包括MongoDB內(nèi)數(shù)據(jù)的表達與NAF標引格式。3）在處理模塊下，對事件感知傳統(tǒng)的兩種