版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
1、近年來,隨著共享視頻、社交網(wǎng)絡等新興產(chǎn)品的崛起,網(wǎng)絡中的數(shù)據(jù)規(guī)模也呈爆炸式增長。這些數(shù)據(jù)具有結(jié)構復雜、數(shù)量巨大等特點,因此從海量數(shù)據(jù)中提取關鍵數(shù)據(jù)難度變得越來越大,尤其是在海量數(shù)據(jù)中做相似性連接顯得愈發(fā)困難。所謂相似性連接,是指從一個或兩個數(shù)據(jù)源中查找所有的相似數(shù)據(jù)對,并返回結(jié)果。相似性搜索在概率數(shù)據(jù)相關的許多實際應用中扮演著十分重要的作用,如無線傳感器網(wǎng)絡、股票分析以及基于多個視頻源的對象跟蹤。EMD距離(Earth Mover's
2、Distance)在計算機視覺領域返回的相似性概率數(shù)據(jù)與人類對相似性的判斷更一致。然而,EMD立方級的復雜度阻礙了其相關應用的普及,特別是在分析快速到達數(shù)據(jù)的數(shù)據(jù)流方面,同時源源不斷到達的數(shù)據(jù)可能會造成系統(tǒng)緩存不足、系統(tǒng)過載導致性能急劇下降等問題。為此,本文嘗試采用EMD的方法對滑動窗口語義的數(shù)據(jù)流進行相似性連接處理,主要開展了以下方面的研究工作:
(1)針對EMD距離函數(shù)優(yōu)化問題中存在的復雜度高、計算時間長,數(shù)據(jù)流數(shù)據(jù)的無限
3、性等問題,提出一種基于B+森林索引框架的EMD相似性算法(稱為EMD-DSJoin)。算法的設計思想是:利用線性規(guī)劃的原始對偶理論把到達的直方圖概率數(shù)據(jù)轉(zhuǎn)換為EMD下界距離,然后基于EMD的下界距離構建一組B+森林索引,利用B+森林有效地對不需要進行EMD計算的直方圖概率數(shù)據(jù)剪枝,從而加快基于EMD的相似性連接效率;最后利用滑動窗口解決有限緩存保存延遲數(shù)據(jù)問題。算法具體的實現(xiàn)方法為:(a)通過構建B+樹森林和更新可行解,提高過濾效果,過
4、濾掉完全相關或完全不相關的數(shù)據(jù);通過構建子索引,利用丟棄成塊的子索引完成數(shù)據(jù)的丟棄,減少丟棄數(shù)據(jù)的維護代價。(b)優(yōu)化B+樹森林存檔周期,根據(jù)滑動窗口值和容量因子的變化,使存檔周期P值達到自適應變化的效果,從而讓B+樹森林索引機制更高效運行。通過用真實環(huán)境的數(shù)據(jù)集進行的驗證實驗和對比分析結(jié)果表明,EMD-DSJoin算法的CPU時間、EMD求精次數(shù)都有一定程度的減少,處理速度比已有對比算法快了35%左右,說明EMD-DSJoin算法使數(shù)
5、據(jù)剪枝更為高效,為處理亂序數(shù)據(jù)提供更為有效的處理策略。
(2)數(shù)據(jù)流的數(shù)據(jù)到達并不是勻速的,當數(shù)據(jù)在某時間段集中到達時,由于系統(tǒng)資源有限,數(shù)據(jù)流高爆發(fā)時容易造成系統(tǒng)過載,從而導致連接性能大幅度下降。為了解決這一問題,本文提出了基于EMD-DSJoin算法的降載策略。該策略充分考慮了數(shù)據(jù)流上數(shù)據(jù)具有的時間關聯(lián)性,在系統(tǒng)過載時過濾掉數(shù)據(jù)中包含的冗余數(shù)據(jù),有效減少了相似性連接的次數(shù),同時盡可能保證相似性連接結(jié)果的完整性。實驗結(jié)果表明
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 實時數(shù)據(jù)流相似性查詢算法的研究.pdf
- 數(shù)據(jù)流相似性查詢及模式挖掘研究.pdf
- 數(shù)據(jù)流上的相似性查詢及優(yōu)化.pdf
- 基于MapReduce的相似性連接研究.pdf
- 基于實體的相似性連接操作的研究.pdf
- 相似性學習及基于相似性的數(shù)據(jù)低維表示.pdf
- 基于數(shù)據(jù)流的相似計算及其行為預測.pdf
- 基于相似性連接的大數(shù)據(jù)集成系統(tǒng)的設計與實現(xiàn).pdf
- 面向軌跡數(shù)據(jù)的函數(shù)連接及相似性查詢算法研究.pdf
- 基于LSH的Web數(shù)據(jù)相似性查詢研究.pdf
- 基于數(shù)據(jù)相似性的特征選擇算法研究.pdf
- 數(shù)據(jù)流的無阻塞連接算法研究.pdf
- 基于相似性分析的時間序列數(shù)據(jù)挖掘研究.pdf
- 序列數(shù)據(jù)的相似性查詢研究.pdf
- 基于GPS數(shù)據(jù)的用戶軌跡相似性分析.pdf
- 基于時間序列相似性的數(shù)據(jù)挖掘方法研究.pdf
- MapReduce下相似性連接算法改進的研究.pdf
- 數(shù)據(jù)流多連接查詢算法研究.pdf
- 基于時空數(shù)據(jù)的移動對象相似性度量方法研究.pdf
- 基于相似性分析的時間序列數(shù)據(jù)挖掘算法研究.pdf
評論
0/150
提交評論