面向數(shù)據(jù)處理的流計(jì)算關(guān)鍵技術(shù)研究.pdf

1、日益發(fā)展的新一代無(wú)線網(wǎng)絡(luò)對(duì)于實(shí)時(shí)數(shù)據(jù)流處理也提出了新的要求。射頻標(biāo)簽(RFID)使得每個(gè)物品都可以接入網(wǎng)絡(luò)，微傳感器無(wú)時(shí)無(wú)刻不在檢測(cè)著環(huán)境信息并傳送給主控節(jié)點(diǎn)，這對(duì)主控節(jié)點(diǎn)的處理能力提出了嚴(yán)峻挑戰(zhàn)。這就需要一種數(shù)據(jù)處理機(jī)制實(shí)時(shí)而精確的對(duì)數(shù)據(jù)流進(jìn)行分類(lèi)和計(jì)算，使其在實(shí)用價(jià)值消失之前盡可能轉(zhuǎn)變成收益，因此流計(jì)算技術(shù)應(yīng)運(yùn)而生。
　　流計(jì)算的主要目的是從實(shí)時(shí)的原始數(shù)據(jù)流中提取出各應(yīng)用感興趣的信息，完成一系列操作后輸出給用戶。該技術(shù)最大的特

2、點(diǎn)是自數(shù)據(jù)流出現(xiàn)，就在其不斷變化的過(guò)程中進(jìn)行分析并從中獲取有用信息傳遞給用戶。
　　本文通過(guò)分析數(shù)據(jù)流，建立復(fù)雜事件的處理模板，從而對(duì)復(fù)雜事件進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的計(jì)算和推理，并對(duì)數(shù)據(jù)流進(jìn)行動(dòng)態(tài)的分布式控制，實(shí)時(shí)調(diào)度各種任務(wù)，正確、高效地將不同類(lèi)型的任務(wù)分配給不同的任務(wù)處理器，提升系統(tǒng)性能。最后設(shè)計(jì)Socket通信接口，提升其應(yīng)對(duì)大量連接請(qǐng)求的能力。
　　本文的主要貢獻(xiàn)包括：
　　(1)針對(duì)數(shù)據(jù)元組以亂序的形式到達(dá)時(shí)可能會(huì)造成

3、匹配錯(cuò)誤的問(wèn)題，提出了實(shí)時(shí)模板匹配(Real-time Query Matching, RQM)算法，把新事件組成的有序集合與模板進(jìn)行對(duì)比，根據(jù)有序集中缺失事件的類(lèi)型和個(gè)數(shù)判斷該集合能否在未來(lái)成功匹配，丟棄匹配概率較小的子集節(jié)省空間，提高匹配速度。
　　(2)針對(duì)數(shù)據(jù)流量較大時(shí)傳統(tǒng)調(diào)度算法效率較低的問(wèn)題，提出一種面向流計(jì)算的動(dòng)態(tài)分配調(diào)度(Dynamic Assignment Scheduling, DAS)算法,設(shè)立多個(gè)邏輯主機(jī)，

4、每個(gè)邏輯主機(jī)又設(shè)立多個(gè)操作器，并行處理數(shù)據(jù)流。通過(guò)將總的調(diào)度問(wèn)題轉(zhuǎn)化為每個(gè)操作器的公共子問(wèn)題，減少了調(diào)度開(kāi)銷(xiāo)。同時(shí)縮減了調(diào)度算法的執(zhí)行間隔，提升了調(diào)度精度。
　　(3)為使得流計(jì)算服務(wù)器通信層在大量數(shù)據(jù)流來(lái)臨時(shí)仍然保持穩(wěn)定的效率，使用線程池技術(shù)構(gòu)建了流計(jì)算服務(wù)器，設(shè)計(jì)了系統(tǒng)運(yùn)行支撐方案，并計(jì)算了動(dòng)態(tài)線程池在面臨超過(guò)其容量的請(qǐng)求時(shí)的開(kāi)銷(xiāo)，提出使用緩沖池存儲(chǔ)超量連接請(qǐng)求而不是動(dòng)態(tài)生成額外線程的方案，然后對(duì)總體設(shè)計(jì)進(jìn)行優(yōu)化，應(yīng)對(duì)常見(jiàn)的突