面向數(shù)據(jù)集成的非文本DSL與SQL互譯系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來隨著互聯(lián)網(wǎng)行業(yè)的蓬勃發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)與日俱增，大數(shù)據(jù)時代已經(jīng)到來；數(shù)據(jù)集成領(lǐng)域需要有更加高效和高質(zhì)量的方法來應(yīng)對大數(shù)據(jù)時代帶來的挑戰(zhàn)；為了提高工作效率與質(zhì)量，新的工作形式與技術(shù)的運(yùn)用方式不斷產(chǎn)生。在數(shù)據(jù)集成方面，將常規(guī)工作以可視化流圖形式進(jìn)行已經(jīng)成為主旋律，比如通過執(zhí)行由可視化數(shù)據(jù)流圖翻譯成的目標(biāo)程序語言代碼來完成數(shù)據(jù)處理任務(wù)。這方面的工作依賴翻譯器完成。
　　本文經(jīng)過對數(shù)據(jù)集成領(lǐng)域相關(guān)初級工作內(nèi)容的總結(jié)，引用領(lǐng)域特定語言（

2、Domain Specific Language，簡寫DSL）的相關(guān)理念抽象出一套適用于該領(lǐng)域的可視化模型，即面向數(shù)據(jù)集成的非文本DSL（DataIntegration’s no-text DSL或DataIntegration’s Graphic DSL，簡稱DIG-DSL），并使用WEB前端相關(guān)技術(shù)實(shí)現(xiàn)，可以再瀏覽器端展示。
　　本文所述系統(tǒng)是騰訊科技（深圳）有限公司（以下簡稱騰訊）數(shù)據(jù)集成服務(wù)中心（DataIntegrati

3、on Services House，以下簡稱Dish）的異構(gòu)語言互譯子系統(tǒng)（以下簡稱互譯系統(tǒng)），是基于B/S架構(gòu)實(shí)現(xiàn)的翻譯器，與其他該領(lǐng)域翻譯器一樣，用來完成可視化流圖向程序語言代碼的翻譯工作，在本文具體是將在瀏覽器端展示的DIG-DSL翻譯為SQL代碼；除此之外，互譯系統(tǒng)還具有將SQL反向翻譯為DIG-DSL的功能，這一功能不僅大大提高了互譯系統(tǒng)可用性也使數(shù)據(jù)集成工作方式更加靈活和形式更加豐富。
　　通過該互譯系統(tǒng)，用戶可以使用

4、DIG-DSL進(jìn)行數(shù)據(jù)處理流程的設(shè)計(jì)，再經(jīng)過翻譯直接得到等價(jià)SQL代碼。因?yàn)镈IG-DSL可以通過互譯系統(tǒng)提供的DIG-DSL支持工具輔助用戶進(jìn)行流程設(shè)計(jì)，所以進(jìn)行數(shù)據(jù)處理的工作方式從過去編寫邏輯復(fù)雜的SQL代碼變成操作簡單的繪圖；用戶可以將精力集中在數(shù)據(jù)處理邏輯而不是實(shí)現(xiàn)上。將SQL逆向產(chǎn)生DIG-DSL的功能可以幫助用戶將過去工作中積累的SQL轉(zhuǎn)換成數(shù)據(jù)流圖的形式；這樣可以有效的復(fù)用過去工作成果，也提高了互譯系統(tǒng)的可用性和靈活性。整