不確定數(shù)據(jù)流的分布并行Skyline查詢處理技術(shù)研究.pdf

1、近年來，隨著信息技術(shù)的不斷發(fā)展，不確定數(shù)據(jù)流廣泛存在于諸如傳感器網(wǎng)絡(luò)、基于位置的服務(wù)和RFID網(wǎng)絡(luò)等現(xiàn)實應(yīng)用中。對不確定數(shù)據(jù)流進行高效查詢處理已成為當(dāng)前大數(shù)據(jù)處理的一個重要方面。不確定數(shù)據(jù)流的Skyline查詢在數(shù)據(jù)挖掘、決策制定和環(huán)境監(jiān)控等眾多應(yīng)用中發(fā)揮著重要作用，已成為數(shù)據(jù)庫領(lǐng)域的一個研究熱點。然而，已有的研究主要采用集中的Skyline查詢處理方式，當(dāng)用戶對查詢響應(yīng)速度要求較高或滑動的窗口規(guī)模較大時，基于單機環(huán)境進行集中處理的查詢

2、效率受到計算能力的限制，難以滿足查詢的實時性需求。當(dāng)前諸如數(shù)據(jù)中心等分布式計算環(huán)境的興起和廣泛運用，為實現(xiàn)不確定數(shù)據(jù)流的分布并行Skyline查詢處理提供了有利條件。對于高速到達的不確定數(shù)據(jù)流上的Skyline查詢，當(dāng)前研究的挑戰(zhàn)在于如何充分利用分布式計算環(huán)境實現(xiàn)并行查詢處理，以提高查詢處理的效率。本文圍繞上述研究挑戰(zhàn)，針對不確定數(shù)據(jù)流開展了分布并行Skyline查詢技術(shù)的研究工作。
　　首先，針對已有基于單機環(huán)境的集中式查詢處理

3、方法因計算能力不足而難以滿足當(dāng)前用戶查詢需求的問題，提出了一種針對不確定數(shù)據(jù)流的分布并行 Skyline查詢處理的兩級并行查詢模型 TPM。相比已有的集中式并行查詢模型 CPM，在TPM模型中，并行節(jié)點只需要維護局部滑動窗口，相同階段的各并行節(jié)點間不需要通信同步中間結(jié)果。實驗結(jié)果表明，基于TPM模型對不確定數(shù)據(jù)流進行分布并行Skyline查詢處理的方式在不同滑動窗口規(guī)模、數(shù)據(jù)維度和并行節(jié)點數(shù)目的條件下，查詢響應(yīng)時間均優(yōu)于基于CPM模型的

4、查詢處理方法，能夠滿足不確定數(shù)據(jù)流并行Skyline查詢的需求。
　　其次，針對已有的不確定數(shù)據(jù)流Skyline查詢方法難以滿足高吞吐率數(shù)據(jù)流環(huán)境如軍事作戰(zhàn)指揮、自然災(zāi)害監(jiān)控等對查詢響應(yīng)速度的極高要求，提出了一種基于網(wǎng)格概率記錄的Skyline查詢處理方法，減少支配關(guān)系測試階段內(nèi)各并行節(jié)點中支配關(guān)系測試次數(shù)和局部Skyline概率計算過程中的重復(fù)計算。實驗結(jié)果表明，基于網(wǎng)格概率記錄的Skyline查詢處理方法能夠有效提高不確定數(shù)據(jù)

5、流的分布并行Skyline查詢的處理效率，滿足高速的查詢處理需求。
　　最后，針對現(xiàn)實應(yīng)用中用戶需求和Skyline查詢處理結(jié)果契合度不足的問題，對不確定數(shù)據(jù)流的Skyline擴展查詢進行研究，設(shè)計了不確定數(shù)據(jù)流的Skyline枚舉查詢(Enumerating Query)，研究提出了一種基于支配關(guān)系圖的Skyline枚舉查詢處理方法。支配關(guān)系圖能夠記錄并行節(jié)點內(nèi)數(shù)據(jù)間完全的支配關(guān)系，并實現(xiàn)對待考察元組在支配關(guān)系圖中的快速定位，從