分布式系統(tǒng)上的元數(shù)據(jù)管理系統(tǒng)查詢模塊的實現(xiàn).pdf

1、元數(shù)據(jù)指的是描述數(shù)據(jù)的數(shù)據(jù)，主要是描述數(shù)據(jù)屬性的信息，用來支持如存儲位置、歷史數(shù)據(jù)、資源查找、文件紀錄等信息。元數(shù)據(jù)的表達可以是任意形式，在元數(shù)據(jù)發(fā)展初期人們常使用自定義的記錄語言（例如MARC）或數(shù)據(jù)庫記錄結(jié)構(gòu)（如ROADS等），但隨著元數(shù)據(jù)格式的增多和互操作的要求，人們開始采用一些標準化的DDL來描述元數(shù)據(jù)，例如SGML和XML，其中以XML最有潛力。本文所描述的元數(shù)據(jù)管理系統(tǒng)HMS采用了XML格式來描述元數(shù)據(jù)。
　　隨著數(shù)據(jù)

2、庫和網(wǎng)絡的發(fā)展，XML已經(jīng)成了萬維網(wǎng)數(shù)據(jù)表示和數(shù)據(jù)交換的標準，主要用途包括數(shù)據(jù)交換，Web服務，內(nèi)容管理和Web集成。XML標準是由W3C的XML工作組定義的。XML有著半結(jié)構(gòu)化特性，這使得它的查詢也不同于關(guān)系型數(shù)據(jù)庫中的SQL查詢，而是有著自己的多種查詢標準和方法，其中以XQuery和XPath最具代表性。XML是自描述的，這也是XML適合描述元數(shù)據(jù)的一個重要特點。
　　從系統(tǒng)和數(shù)據(jù)管理角度出發(fā)，集中式的元數(shù)據(jù)管理會存在系統(tǒng)性能

3、瓶頸、單點失效、數(shù)據(jù)容錯性差和難以擴展等缺點。而隨著理論研究的深入和相關(guān)工程應用的發(fā)展，涌現(xiàn)出很多高可用的分布式平臺。HMS是一種架構(gòu)在HBase/Hadoop平臺上的元數(shù)據(jù)管理系統(tǒng)，旨在分布式系統(tǒng)上提供一種元數(shù)據(jù)管理服務，并保證有效性和高可用性。本系統(tǒng)提供元數(shù)據(jù)管理所需要的CRUD操作的支持，并且提供實體查詢的擴展支持。
　　本文將主要說明元數(shù)據(jù)管理系統(tǒng)HMS的架構(gòu)、存儲和查詢模塊的實現(xiàn)。
　　(1)從整體架構(gòu)上看，HMS

4、底層存儲采用了NoSQL數(shù)據(jù)庫HBase，在持久存儲的上層使用Thrift接口訪問下層的HBase。在上層的程序中包括元數(shù)據(jù)解析模塊，查詢語句的解析模塊和查詢處理模塊，UI部分提供了Web展示界面。
　　(2)存儲模塊主要完成元數(shù)據(jù)在HBase數(shù)據(jù)庫中的存儲，其中包含XML文件的解析，XML元素的編碼和HBase Rowkey的選擇和表結(jié)構(gòu)的設計。
　　(3)查詢處理模塊主要包含兩部分，一部分是查詢語句的解析，確定查詢語句的