RDF語(yǔ)義數(shù)據(jù)存儲(chǔ)編碼與查詢(xún)優(yōu)化研究.pdf

1、隨著語(yǔ)義網(wǎng)研究的深入以及信息抽取技術(shù)的進(jìn)步，近年來(lái)RDF語(yǔ)義數(shù)據(jù)增長(zhǎng)迅速，更多復(fù)雜的語(yǔ)義數(shù)據(jù)需要處理與應(yīng)用。常見(jiàn)的RDF數(shù)據(jù)集都有上億的三元組，如何高效地對(duì)海量RDF語(yǔ)義數(shù)據(jù)進(jìn)行存儲(chǔ)與查詢(xún)，已經(jīng)成為學(xué)術(shù)界研究的熱點(diǎn)。RDF具有龐大的數(shù)據(jù)量，現(xiàn)有的RDF存儲(chǔ)系統(tǒng)采用的編碼方式已經(jīng)可以大幅度壓縮數(shù)據(jù)，不過(guò)大多編碼方法不支持?jǐn)?shù)據(jù)的增量更新操作?，F(xiàn)有的RDF存儲(chǔ)系統(tǒng)多采用完備的三元組存儲(chǔ)方式，具有較高的查全率，不過(guò)在查詢(xún)效率上還有待提高。作為未

2、來(lái)發(fā)展的一個(gè)重要領(lǐng)域，RDF語(yǔ)義數(shù)據(jù)的處理還有很多值得研究的方面。本文主要研究的是RDF數(shù)據(jù)的編碼和存儲(chǔ)技術(shù)。通過(guò)分析國(guó)內(nèi)外研究現(xiàn)狀，對(duì)現(xiàn)有的系統(tǒng)進(jìn)行大量研究和實(shí)驗(yàn)，針對(duì)RDF語(yǔ)義數(shù)據(jù)的編碼方式和存儲(chǔ)方式提出了改進(jìn)方法，并運(yùn)用該方法做了實(shí)驗(yàn)與分析。
　　本研究主要內(nèi)容包括：⑴結(jié)合RDF語(yǔ)義數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)實(shí)現(xiàn)了基于哈希的HBRA編碼方案。HBRA編碼方案采用Hash Lookup算法實(shí)現(xiàn)了文本到ID的映射，支持?jǐn)?shù)據(jù)的初始化批量加載

3、，也可以實(shí)現(xiàn)較快的增量更新操作，滿(mǎn)足了RDF數(shù)據(jù)不斷增加的特性。通過(guò)在內(nèi)存中建立沖突處理表、使用Bloom filter查找算法和建立分塊索引等策略，提升了編碼時(shí)數(shù)據(jù)查找、判重和更新的效率。⑵通過(guò)研究RDF的查詢(xún)處理技術(shù)，提出了基于三元組的二級(jí)索引存儲(chǔ)方法，設(shè)計(jì)了二級(jí)索引的存儲(chǔ)結(jié)構(gòu)，實(shí)現(xiàn)了相應(yīng)的存儲(chǔ)過(guò)程。采用的二級(jí)索引結(jié)構(gòu)不僅可以減少RDF數(shù)據(jù)的存儲(chǔ)空間，還可以減少RDF語(yǔ)義數(shù)據(jù)查詢(xún)時(shí)的比較次數(shù)。通過(guò)研究查詢(xún)引擎的總體結(jié)構(gòu)以及查詢(xún)引擎的

4、查詢(xún)機(jī)理，結(jié)合二級(jí)索引存儲(chǔ)的特點(diǎn)，設(shè)計(jì)了對(duì)應(yīng)的RDF語(yǔ)義數(shù)據(jù)查詢(xún)的處理過(guò)程。⑶根據(jù)提出的RDF語(yǔ)義數(shù)據(jù)編碼方案和查詢(xún)策略，對(duì) RDF-3X系統(tǒng)做了改進(jìn)，并做了相關(guān)實(shí)驗(yàn)。在編碼方面，對(duì)數(shù)據(jù)編碼方案進(jìn)行了功能測(cè)試、沖突處理測(cè)試。在查詢(xún)性能方面，選取9個(gè)SPARQL查詢(xún)語(yǔ)句，采用YAGO數(shù)據(jù)集對(duì)幾個(gè)存儲(chǔ)系統(tǒng)做了實(shí)驗(yàn)，得到查詢(xún)的查全率和時(shí)間效率。實(shí)驗(yàn)表明，使用新的編碼方案和存儲(chǔ)技術(shù)在不影響查全率的基礎(chǔ)上，在簡(jiǎn)單查詢(xún)和并列查詢(xún)方面的查詢(xún)效率有一定