基于LCA并行的XML關(guān)鍵字查詢.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，信息呈爆炸式的增長。Web網(wǎng)頁在全球范圍的使用使得半結(jié)構(gòu)化數(shù)據(jù)變得越來越普遍也越來越重要。我們可以通過互聯(lián)網(wǎng)從世界各地接收和發(fā)送信息，然而，信息交互的過程中遇到了一個突出的問題:不同的平臺用到的數(shù)據(jù)格式可能是各種各樣的，也就是數(shù)據(jù)格式的異構(gòu)性問題。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在處理這些問題時捉襟見肘，XML就是在這種情況下發(fā)展起來的，它為這一問題的解決提供了理論和技術(shù)支持。隨著XML作為半結(jié)構(gòu)化的標(biāo)準(zhǔn)，它被廣泛的應(yīng)用于Web中的

2、數(shù)據(jù)交換、網(wǎng)上書店的數(shù)據(jù)存儲、各種配置文件以及電子商務(wù)等領(lǐng)域。XML技術(shù)在IT環(huán)境中扮演著越來越重要的角色，已逐漸成為互聯(lián)網(wǎng)上傳遞和交換信息的事實(shí)標(biāo)準(zhǔn)。
　　由于大數(shù)據(jù)時代的到來，XML數(shù)據(jù)呈幾何級的增長，如何在龐大的數(shù)據(jù)中快速的獲得需要的信息變得至關(guān)重要。越來越多的人在研究XML的查詢方式，更高效率、更大吞吐量的XML查詢方法的研究顯得越發(fā)重要和迫切，并行查詢方式走進(jìn)了人們的視野。
　　XML查詢分為兩大類，一類是基于圖模

3、型的查詢，另一類是基于樹模型的查詢。而基于樹模型的查詢是現(xiàn)今研究最多的一種查詢。樹模型的基礎(chǔ)是LCA，即最緊致片段。基于LCA有各種各樣的查詢方式，如基于結(jié)果集的查詢，基于語義的查詢等等，它們都是通過提出新的算法或者改善已有算法使查詢結(jié)果更全、更快、更符合用戶的意圖。利用并行技術(shù)優(yōu)化查詢的方法是指通過當(dāng)前硬件具有強(qiáng)大的通用并行計(jì)算能力來支持XML查詢，這種方法的研究目前還很少見到，具有較大的研究價值和發(fā)展前景。最新的研究方向有XML數(shù)據(jù)

4、庫并行查詢，或者將不同的XML片段存儲在分布式網(wǎng)絡(luò)，并行的處理這些片段。而本文是分析LCA文檔樹本身所具有的性質(zhì)，提出兩兩分組的并行理念。
　　隨著GPU技術(shù)的迅速發(fā)展，特別是GPU通用計(jì)算(GPGPU)的提出和應(yīng)用，GPU以其高度并行的特性正在高性能計(jì)算領(lǐng)域發(fā)揮著巨大作用。因此，基于GPU的并行優(yōu)化技術(shù)也逐漸成為研究的熱點(diǎn)。
　　鑒于以上兩點(diǎn)，本文結(jié)合XML查詢技術(shù)和GPU并行計(jì)算，提高XML查詢效率。提出了改進(jìn)的，可以并

5、行的LCA算法。為了實(shí)現(xiàn)該算法，首先，由于XML文檔結(jié)構(gòu)的獨(dú)特性，我們需要對每一個XML結(jié)點(diǎn)進(jìn)行編碼，我們要求該編碼不僅能夠唯一標(biāo)識每一個結(jié)點(diǎn)，而且還能表示出結(jié)點(diǎn)與結(jié)點(diǎn)之間的結(jié)構(gòu)關(guān)系。因此，本文選取Dewey編碼對XML文檔進(jìn)行編碼。在表示XML文檔的同時，還能夠完成一些簡單的結(jié)點(diǎn)間運(yùn)算。其次，XML文檔樹中具有相同結(jié)點(diǎn)名的編碼，利用B+樹索引，編碼字符串比較后，按升序排列存儲。因此需要一個適合的容器工具來存放它們。本文采用了嵌入式數(shù)據(jù)

6、庫BerkeleyDB來實(shí)現(xiàn)，它使得索引與應(yīng)用程序運(yùn)行于同樣的地址空間中，消除了與客戶機(jī)服務(wù)器配置相關(guān)的開銷，并且應(yīng)用程序不需要事先同數(shù)據(jù)庫服務(wù)建立起網(wǎng)絡(luò)連接，而是通過內(nèi)嵌在程序中的BerkeleyDB函數(shù)庫來完成對數(shù)據(jù)的保存、查詢、修改和刪除等操作。在實(shí)驗(yàn)過程中可以忽略獲取索引的時間，從而削弱了索引對實(shí)驗(yàn)主體的負(fù)面影響。
　　在算法方面，首先，本文通過XML文檔樹的特點(diǎn)，提出了一種新的方法，同一個關(guān)鍵字的編碼列只需掃描，提高了L