版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、近年來,伴隨著社交網(wǎng)絡(luò)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等技術(shù)領(lǐng)域的迅猛發(fā)展,數(shù)據(jù)量呈現(xiàn)爆炸式的增長。在這些領(lǐng)域中,通常需要實時地、高效地處理快速變化的海量數(shù)據(jù)。目前,針對數(shù)據(jù)流的實時分析和流式處理逐漸成為大數(shù)據(jù)研究的熱門領(lǐng)域。分布式數(shù)據(jù)流監(jiān)控問題在許多應(yīng)用領(lǐng)域被廣泛研究,比如:網(wǎng)絡(luò)流量監(jiān)控、傳感器網(wǎng)絡(luò)監(jiān)控、Web日志使用分析和股票市場監(jiān)管等領(lǐng)域。這些應(yīng)用場景通常需要監(jiān)控分布式數(shù)據(jù)流中存在的異常情況,并進(jìn)行及時匯報處理。由于數(shù)據(jù)產(chǎn)生速度快、數(shù)據(jù)量大,
2、傳統(tǒng)的集中式的處理方式變得不再可行,出現(xiàn)了由于中心處理節(jié)點計算資源有限、存儲能力不足導(dǎo)致的計算延遲,以及耗費大量的網(wǎng)絡(luò)通信用來傳輸數(shù)據(jù)等問題。
本文主要研究基于滑動窗口的分布式數(shù)據(jù)流Top-K監(jiān)控問題,即在給定的監(jiān)控窗口大小內(nèi),在分布式數(shù)據(jù)流上連續(xù)地查詢前K個數(shù)值最大的對象。我們采用連續(xù)的分布式監(jiān)控處理模型來進(jìn)行分布式數(shù)據(jù)流的監(jiān)控,包含一個中心協(xié)調(diào)處理節(jié)點和多個分布式監(jiān)控節(jié)點。每個監(jiān)控節(jié)點負(fù)責(zé)實時接收處理對應(yīng)的數(shù)據(jù)流。中心協(xié)調(diào)
3、處理節(jié)點則負(fù)責(zé)計算全局的Top-K結(jié)果。為了高效地維護(hù)和處理數(shù)據(jù)流,本文采用基于時間的滑動窗口處理模型。該模型將給定的監(jiān)控時間窗口劃分為多個大小相同的窗口單元進(jìn)行數(shù)據(jù)流的處理。每當(dāng)一個新的窗口單元創(chuàng)建完成后,最早的窗口單元將由于過期被移除監(jiān)控窗口。伴隨著監(jiān)控窗口的滑動,分布式監(jiān)控節(jié)點上對象的數(shù)值也隨著不斷變化。連續(xù)地查詢前K個數(shù)值最大的對象,需要頻繁地從分布式監(jiān)控節(jié)點獲取對象變化的數(shù)值,并計算新的Top-K結(jié)果。這將導(dǎo)致整個分布式監(jiān)控系
4、統(tǒng)的通信負(fù)載和計算消耗加重。
為了能夠盡可能降低分布式監(jiān)控系統(tǒng)中出現(xiàn)的通信開銷,本文提出了一種基于調(diào)整因子的對象數(shù)值重分配算法。該算法通過指派調(diào)整因子來協(xié)調(diào)分布式監(jiān)控節(jié)點上對象的數(shù)值,使得分布式監(jiān)控節(jié)點上的本地Top-K結(jié)果與全局的Top-K結(jié)果保持一致。當(dāng)本地的Top-K結(jié)果出現(xiàn)不一致時,才重新進(jìn)行協(xié)調(diào),并計算出新的全局Top-K結(jié)果和新的調(diào)整因子。該算法只在分布式監(jiān)控節(jié)點出現(xiàn)違反約束時,才需要額外的通信來協(xié)調(diào)全局的信息,所
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 分布式數(shù)據(jù)流的Top-K查詢研究.pdf
- 分布式數(shù)據(jù)流上基于K-Skyband的Top-K支配查詢研究.pdf
- 數(shù)據(jù)流top-K頻繁模式挖掘算法研究.pdf
- 數(shù)據(jù)流中top-k項頻繁閉合模式挖掘研究.pdf
- 分布式環(huán)境下ToP-K計算問題研究.pdf
- 基于數(shù)據(jù)流的Top-K頻繁閉項集挖掘算法研究.pdf
- 面向數(shù)據(jù)流的ToP-k頻繁閉項集挖掘算法研究.pdf
- XML數(shù)據(jù)流上的TOP-K關(guān)鍵字查詢處理.pdf
- 基于滑動窗口的數(shù)據(jù)流關(guān)聯(lián)規(guī)則挖掘算法研究.pdf
- 基于滑動窗口的數(shù)據(jù)流頻繁模式挖掘算法研究.pdf
- 基于數(shù)據(jù)流滑動窗口的降載技術(shù)研究.pdf
- 分布式數(shù)據(jù)流查詢處理的研究.pdf
- 分布式數(shù)據(jù)流的查詢處理技術(shù).pdf
- 數(shù)據(jù)流滑動窗口頻繁模式挖掘算法研究.pdf
- 數(shù)據(jù)流中基于滑動窗口的效用頻繁模式挖掘算法.pdf
- 基于滑動窗口的數(shù)據(jù)流預(yù)測聚集查詢處理的研究.pdf
- 基于可變滑動窗口的數(shù)據(jù)流閉合頻繁模式挖掘研究
- 基于共享滑動窗口的數(shù)據(jù)流查詢處理算法的研究.pdf
- 基于可變滑動窗口的數(shù)據(jù)流閉合頻繁模式挖掘研究.pdf
- 分布式數(shù)據(jù)流聚類算法研究.pdf
評論
0/150
提交評論