大規(guī)模RDF數(shù)據(jù)的并行劃分與分布式處理系統(tǒng)研究.pdf

1、由于RDF（ResourceDescription Framework）數(shù)據(jù)模型的靈活性和可擴(kuò)展性，越來越多的社區(qū)將它們的數(shù)據(jù)以RDF的格式進(jìn)行發(fā)布。因此，分布式存儲(chǔ)和處理RDF數(shù)據(jù)已經(jīng)成為一個(gè)熱點(diǎn)問題?，F(xiàn)有的分布式解決方案雖然取得了一定的成效，但大多集中在分布式存儲(chǔ)結(jié)構(gòu)的設(shè)計(jì)和處理流程的優(yōu)化，在任務(wù)負(fù)載均衡和通信量最小化方面的研究較少。
　　基于超圖模型的并行遍歷樹劃分與分布式處理系統(tǒng)（ParTripleBit），提出一種高效劃

2、分和分布處理超大規(guī)模RDF圖數(shù)據(jù)的技術(shù)。這種技術(shù)根據(jù)RDF數(shù)據(jù)的特性，采用超圖模型對(duì)數(shù)據(jù)進(jìn)行抽象，以超邊數(shù)據(jù)的一部分作為基本劃分塊，然后采用遍歷樹劃分方法并行的放置路徑上的基本劃分塊，以保證實(shí)體間連接關(guān)系的完整性。在放置時(shí)制定了相應(yīng)的策略來對(duì)計(jì)算節(jié)點(diǎn)進(jìn)行選取，以保證各計(jì)算節(jié)點(diǎn)的數(shù)據(jù)負(fù)載均勻和任務(wù)負(fù)載均衡，并提出基于啟發(fā)式的查詢?nèi)蝿?wù)分解策略，以最簡(jiǎn)化查詢分解。在分布式處理方面，采用MPI消息傳輸協(xié)議提供的異步和非阻塞通信模型來進(jìn)行數(shù)據(jù)的交

3、互，借助分塊變長(zhǎng)整形差值壓縮方法和并行流水來減少通信量，提高交互效率。此外，還實(shí)現(xiàn)了無鎖竊取調(diào)度方式來對(duì)查詢?nèi)蝿?wù)進(jìn)行調(diào)度，提高并行度。在中間結(jié)果的合并過程中，提出一種批量合并方式來減少合并過程中key值的比對(duì)次數(shù)，提高合并效率。
　　ParTripleBit與目前較好的集中式 RDF存儲(chǔ)系統(tǒng)TripleBit和RDF-3X，分布式RDF處理系統(tǒng)Hybrid（unone-on、dirtwo和untwo-on）相比：數(shù)據(jù)劃分方面，平均