科學(xué)數(shù)據(jù)網(wǎng)格分布式查詢框架及其關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)網(wǎng)格研究的一個主要目標(biāo)是實現(xiàn)海量分布式異構(gòu)數(shù)據(jù)資源的共享。在網(wǎng)格這樣一個松耦合的分布式異構(gòu)系統(tǒng)中，在不破壞數(shù)據(jù)資源管理者自治性的條件下如何對這些共享的海量異構(gòu)數(shù)據(jù)資源進行有效的查詢是一個極具挑戰(zhàn)性的難題。面對如此挑戰(zhàn)，本文基于科學(xué)數(shù)據(jù)網(wǎng)格的實際情況對其分布式查詢處理系統(tǒng)進行了深入的研究。 論文研究的主要內(nèi)容和創(chuàng)新成果如下： 1．設(shè)計了一個適用于科學(xué)數(shù)據(jù)網(wǎng)格環(huán)境的分布式查詢框架——SDGDQA。整個框架分為三層：用戶接

2、口層、中間協(xié)調(diào)層和查詢層。用戶接口層在框架中充當(dāng)人機交互界面的角色，它一方面接受用戶的查詢請求，主動幫助用戶細(xì)化查詢要求并顯示查詢結(jié)果，另一方面又在整個過程中記錄并學(xué)習(xí)用戶的興趣和習(xí)慣；中間協(xié)調(diào)層是框架的核心部分，主要實現(xiàn)查詢計劃的全局優(yōu)化、數(shù)據(jù)資源的定位、查詢計劃的拍賣和分發(fā)等功能；查詢層主要實現(xiàn)查詢計劃的競標(biāo)和局部優(yōu)化等功能。為了適應(yīng)結(jié)點的局部自治性和動態(tài)變化性，本文在SDGDQA中使用了移動agent技術(shù)，并重點說明了移動agen

3、t的遷移和通信策略。 2．基于小世界模型的數(shù)據(jù)資源定位機制。分析了科學(xué)數(shù)據(jù)網(wǎng)格的小世界網(wǎng)絡(luò)特征，并對其進行結(jié)構(gòu)化設(shè)計。按照虛擬組織-機構(gòu)-網(wǎng)格實體(資源)這三個層次，建立了分層數(shù)據(jù)資源定位模型?；贕ossip協(xié)議建立了虛擬組織內(nèi)部以及虛擬組織之間兩個層次上的消息擴散機制，并提出了兩層數(shù)據(jù)資源搜索算法。該數(shù)據(jù)資源定位模型符合網(wǎng)格環(huán)境的分布式特點，便于數(shù)據(jù)資源的動態(tài)加入與退出，具有很好的可擴展性。改進后的分層Gossip機制減小了

4、消息擴散負(fù)荷，增大了擴散范圍，能有效地更新在各分布式信息服務(wù)器中存儲的異地資源信息。兩層數(shù)據(jù)資源搜索機制能夠有目的地選擇結(jié)點，從而克服了搜索的盲目性，有效提高了數(shù)據(jù)資源查詢的效率和性能。 3．基于市場機制的查詢計劃分配模型。首先把SDGDQA中的查詢計劃看作一種網(wǎng)格資源，然后根據(jù)數(shù)據(jù)網(wǎng)格的特點和市場機制特性的部分一致性，利用市場機制來實現(xiàn)查詢計劃的分配，并詳細(xì)介紹了查詢計劃分配模型的系統(tǒng)結(jié)構(gòu)、具體經(jīng)濟模型、協(xié)商協(xié)議以及競標(biāo)和拍賣

5、算法，最后對模型中的拍賣師和競標(biāo)者的收益進行了分析。分析表明基于市場機制的查詢計劃分配模型具有以下優(yōu)點：(a)從原來資源分配以系統(tǒng)為中心轉(zhuǎn)化為以用戶為中心；(b)為查詢資源提供者提供公平存取查詢計劃的基礎(chǔ)；(c)鼓勵查詢資源提供者貢獻他們的空閑資源并能從中獲利，有利于調(diào)節(jié)網(wǎng)格資源的供需平衡，便于建立大規(guī)模的網(wǎng)格資源分配系統(tǒng)；(d)允許查詢計劃提供者表達他們的需求和目標(biāo)；(e)查詢計劃提供者和查詢資源提供者能夠根據(jù)自己的實際情況做出決策，

6、最大化各自的效用和利益。 4．基于遺傳規(guī)劃的查詢優(yōu)化算法及其收斂性分析。提出一種基于遺傳規(guī)劃的查詢優(yōu)化算法。該算法把查詢計劃看作一棵查詢樹，從而在表達形式上更加靈活。算法搜索空間內(nèi)的個體都是LBT樹。對比分析了搜索空間內(nèi)的個體是LBT樹和GBT樹的上下界，分析的結(jié)果可以看出算法大大縮小了搜索的范圍。算法在適應(yīng)度函數(shù)定義方面添加了懲罰項，對關(guān)系之間帶有笛卡兒積的LBT樹進行懲罰。在運算算子的設(shè)計方面使用同源交叉法，使得交叉過程能夠