面向交通物流大數(shù)據(jù)處理的元數(shù)據(jù)管理系統(tǒng).pdf

1、在交通物流領域中，建立統(tǒng)一、高效的數(shù)據(jù)管理方式是降低運營成本、提高數(shù)據(jù)質(zhì)量、規(guī)范物流管理的迫切需要。本文以某省交通物流云平臺項目為背景，該項目包含一系列交通物流大數(shù)據(jù)處理需求，如對物流企業(yè)、應用開發(fā)商及平臺數(shù)據(jù)中心的數(shù)據(jù)進行數(shù)據(jù)整合并提供統(tǒng)一管理。目前，在數(shù)據(jù)整合及管理的過程中，主要存在以下問題：1）業(yè)務元數(shù)據(jù)和技術元數(shù)據(jù)沒有建立映射關系，無法對企業(yè)異構數(shù)據(jù)源進行統(tǒng)一管理；2）沒有將業(yè)務元數(shù)據(jù)與技術元數(shù)據(jù)結合，指導數(shù)據(jù)整合過程；3）由于

2、涉及到安全及隱私問題，數(shù)據(jù)整合時對企業(yè)私有數(shù)據(jù)訪問困難。
　　針對上述問題，本論文在對元數(shù)據(jù)標準SDMX信息模型、RDF數(shù)據(jù)立方詞匯表以及數(shù)據(jù)整合等相關技術進行深入研究的基礎上，提出了一個面向交通物流領域的業(yè)務元數(shù)據(jù)模型，建立了技術元數(shù)據(jù)與業(yè)務元數(shù)據(jù)的映射，并與ETL工具相結合，設計并實現(xiàn)一個面向交通物流大數(shù)據(jù)處理的元數(shù)據(jù)管理系統(tǒng)。測試及應用表明，該系統(tǒng)是可行及有效的。
　　與其他類似系統(tǒng)相比，本文工作具有以下特點：

3、　　1）結合SDMX信息模型及RDF數(shù)據(jù)立方詞匯表，提出了一個面向交通物流領域的業(yè)務元數(shù)據(jù)模型，對交通物流領域的術語、業(yè)務實體等進行建模；同時建立并維護業(yè)務元數(shù)據(jù)與技術元數(shù)據(jù)的映射關系。
　　2）提出了基于元數(shù)據(jù)的交通物流數(shù)據(jù)整合方法，將業(yè)務元數(shù)據(jù)應用到交通物流領域的數(shù)據(jù)整合。在用戶開發(fā)數(shù)據(jù)整合任務時，利用業(yè)務元數(shù)據(jù)與技術元數(shù)據(jù)的映射，自動建立整合字段源和目標的匹配，簡化了開發(fā)過程。
　　3）設計并實現(xiàn)了元數(shù)據(jù)管理系統(tǒng)，該系