基于MapReduce的數(shù)據(jù)圖檢索算法研究.pdf

1、關(guān)系數(shù)據(jù)庫(kù)關(guān)鍵字檢索面臨許多問(wèn)題，如相關(guān)結(jié)果丟失、結(jié)果語(yǔ)義難以理解、結(jié)果排序不理想及結(jié)果存在重復(fù)等。為此，許多研究提出把數(shù)據(jù)庫(kù)轉(zhuǎn)換成一個(gè)帶權(quán)重的數(shù)據(jù)圖，然后對(duì)數(shù)據(jù)圖進(jìn)行檢索。數(shù)據(jù)圖以邊和節(jié)點(diǎn)的形式存儲(chǔ)數(shù)據(jù)，它能還原數(shù)據(jù)本來(lái)的存在形式和數(shù)據(jù)間存在的關(guān)系，能有效解決關(guān)系數(shù)據(jù)庫(kù)關(guān)鍵字查詢的弊端。然而，隨著數(shù)據(jù)量爆炸式的增長(zhǎng)，數(shù)據(jù)圖的規(guī)模也變得越來(lái)越大，如何存儲(chǔ)和高效地檢索大規(guī)模數(shù)據(jù)圖還是一個(gè)值得研究的問(wèn)題。
　　 首先，為了解決大規(guī)模

2、數(shù)據(jù)圖的存儲(chǔ)問(wèn)題，本文利用Neo4j圖數(shù)據(jù)庫(kù)把關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)構(gòu)建成數(shù)據(jù)圖并對(duì)其存儲(chǔ)。Neo4j圖數(shù)據(jù)庫(kù)把數(shù)據(jù)以圖形的結(jié)構(gòu)存儲(chǔ)在外存中，能有效的節(jié)約內(nèi)存資源。Neo4j還提供了許多調(diào)用接口，外部檢索算法可以方便地對(duì)其訪問(wèn)。
　　 其次，為了解決大規(guī)模數(shù)據(jù)圖檢索時(shí)間效率低的問(wèn)題，本文引入MapReduce分布式計(jì)算模型，把STAR算法Map Reduce化，提出了一個(gè)基于MapReduce的數(shù)據(jù)圖檢索算法MRSTAR(Map R

3、educe-based Steiner-Tree Approximation in Relationshipgraphs)。由于借鑒了MapReduce的并行計(jì)算的思想，該算法實(shí)現(xiàn)了對(duì)數(shù)據(jù)圖并行檢索，提高了大規(guī)模數(shù)據(jù)圖檢索的時(shí)間效率。
　　 最后，本文實(shí)現(xiàn)了基于MapReduce的數(shù)據(jù)圖檢索系統(tǒng)，包括數(shù)據(jù)圖的構(gòu)建和基于MapReduce的數(shù)據(jù)圖檢索兩個(gè)模塊。實(shí)驗(yàn)結(jié)果表明，與以前的數(shù)據(jù)圖檢索算法STAR相比，MapRedcue化的