分布式數(shù)據(jù)存儲和處理的若干技術研究.pdf

1、在數(shù)字信息量激增、網(wǎng)絡迅猛發(fā)展、軟硬件價格低廉、人力成本顯著上升這幾大背景之下，傳統(tǒng)文件系統(tǒng)已經(jīng)很難滿足新形勢下的數(shù)據(jù)管理需求，而“高效的數(shù)據(jù)管理方式”，“高質(zhì)量的存儲服務”以及“存儲優(yōu)化和自治”廣受關注。以這三個發(fā)展方向為出發(fā)點，本文全面介紹了存儲管理系統(tǒng)、海量分布式存儲技術、以及存儲優(yōu)化方面的一系列相關工作，總結了這些領域的研究現(xiàn)狀和發(fā)展趨勢，同時指出了現(xiàn)有工作的不足之處。結合相關領域的最新成果，針對其不足之處，本文提出擁有一定自治

2、能力的，分布式數(shù)據(jù)存儲和管理系統(tǒng)框架，研究存儲管理系統(tǒng)的體系結構，以及查詢檢索、分布式存儲和系統(tǒng)優(yōu)化等各方面的關鍵技術。 本文首先給出一種基于數(shù)據(jù)相關的存儲數(shù)據(jù)模型，定義了對象、相關關系等基本概念，提出基于數(shù)據(jù)相關的瀏覽和檢索模型，并給出數(shù)據(jù)檢索語言，介紹了查詢執(zhí)行過程。在此基礎之上，從分布式存儲，查詢和檢索，相關檢測和系統(tǒng)優(yōu)化這三個子系統(tǒng)詳細描述了系統(tǒng)體系結構。 在分布式存儲方面，結合對等存儲技術和對象存儲技術，提出一

3、種基于容器的分布式對象存儲系統(tǒng)。首先給出基于容器的存儲模型，模型以容器作為數(shù)據(jù)定位和復制的最小單元，把存儲空間管理、數(shù)據(jù)塊分配等底層功能交由容器負責，減少系統(tǒng)維護代價，提高系統(tǒng)可伸縮性。介紹了模型中對象、容器、對象池等基本概念，并描述了集群體系架構。接下來介紹了系統(tǒng)的運行時元數(shù)據(jù)，提出基于對等覆蓋網(wǎng)絡的自組織元數(shù)據(jù)維護和容錯方案。最后提出了基于動態(tài)主本的容器復制技術，給出了基于容器狀態(tài)的對象訪問，以及復本一致性保障和恢復算法。

4、圖最短距離索引是存儲管理系統(tǒng)查詢和檢索的核心數(shù)據(jù)結構之一，然而已有索引方法或者創(chuàng)建時間過長，或者查詢效率不足。針對以上不足，創(chuàng)新地提出了具有常數(shù)查詢時間的索引DIX-C和基于兩跳覆蓋的索引DIX-2HC，及其無向圖變種，并在圖索引的基礎之上，研究了基于區(qū)間編碼的相關連接算法。首先，在介紹了一些基本概念和重要數(shù)據(jù)結構之后，給出并證明了最短距離計算公式。接下來，詳細介紹了關鍵數(shù)據(jù)結構的計算算法，并描述了各種索引的創(chuàng)建和查詢算法。然后，利用距

5、離索引和區(qū)間編碼，提出了基于樹編碼的相關連接算法。最后，通過大量實驗考察了索引創(chuàng)建性能、查詢性能和空間代價，以及相關連接的性能，實驗結果表明DIX-C和DIX-2HC算法具有相當?shù)男阅軆?yōu)勢，相關連接的效率較高。 在訪問相關檢測和系統(tǒng)優(yōu)化方面，一方面，現(xiàn)有相關檢測算法通常依賴支持度保證算法性能，這勢必造成大量有價值的訪問相關被遺漏，另一方面，現(xiàn)有算法無法檢測跨服務器的訪問相關，而且性能不足以應用到分布式系統(tǒng)中。針對以上不足，創(chuàng)新性

6、地提出了一系列無支持限制的訪問相關挖掘算法，這些算法把相關度(置信度)作為訪問相關的主要衡量標準，能夠檢測支持度較低但是相關度較高的訪問相關。首先，給出訪問相關的定義和衡量標準。之后，描述了無支持度限制單機挖掘算法HCM和VCM然后，我們提出了基于k最小隨機向量和哈希指紋連接的分布式并行挖掘算法PFC-Miner，實驗結果說明本文提出的挖掘算法具有較好的性能和實用性，挖掘出來的訪問相關能夠大大提高緩存命中率。 在內(nèi)容相關檢測和系