并行數(shù)據(jù)處理中間件體系結(jié)構(gòu)的研究和應(yīng)用.pdf

1、隨著數(shù)據(jù)庫技術(shù)及網(wǎng)絡(luò)技術(shù)的發(fā)展，信息量越來越龐大，從數(shù)據(jù)庫管理系統(tǒng)的應(yīng)用而言，數(shù)據(jù)量達到TB乃至PB級，即使運行在高性能的大型主機上，在處理大量并發(fā)用戶及大量數(shù)據(jù)時，也難以滿足應(yīng)用對CPU和I/O的性能要求。因此，采用并行技術(shù)拓展數(shù)據(jù)處理應(yīng)用成為一種迫切的需要。為了解決海量數(shù)據(jù)和異構(gòu)數(shù)據(jù)的管理和計算問題，人們提出了數(shù)據(jù)處理中間件的概念，利用中間件使相關(guān)的數(shù)據(jù)庫協(xié)同工作，實現(xiàn)互操作。并行數(shù)據(jù)處理中間件系統(tǒng)的開發(fā)，能夠以較小的代價實現(xiàn)數(shù)據(jù)庫

2、并行操作，執(zhí)行簡單、結(jié)構(gòu)靈活。本課題主要研究并行數(shù)據(jù)處理中間件系統(tǒng)的體系結(jié)構(gòu)及主要涉及的工作部件。 本文利用現(xiàn)有PC機、成熟的網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫群集技術(shù)，研究了并行數(shù)據(jù)處理中間件的層次結(jié)構(gòu)、硬件結(jié)構(gòu)、接口通信技術(shù)、功能結(jié)構(gòu)及各功能所涉及的關(guān)鍵技術(shù)。涉及內(nèi)容包括：基于SN結(jié)構(gòu)的群集管理系統(tǒng)模型，系統(tǒng)組件模型，群集工作狀態(tài)模型；對中間件系統(tǒng)的元數(shù)據(jù)進行分析，研究并設(shè)計了中間件系統(tǒng)元數(shù)據(jù)的管理；查詢執(zhí)行控制系統(tǒng)的工作原理及結(jié)果綜合過程：

3、提出了采用數(shù)據(jù)放置和緩存系統(tǒng)提高系統(tǒng)性能的思想，包括數(shù)據(jù)放置的主要方法和策略；緩存系統(tǒng)的內(nèi)容、組織及管理。根據(jù)實際應(yīng)用環(huán)境，實現(xiàn)了并行數(shù)據(jù)處理中間件系統(tǒng)建立模塊和運行模塊的功能。對所研究及設(shè)計的系統(tǒng)進行了系統(tǒng)實驗和現(xiàn)場測試，根據(jù)結(jié)果對并行數(shù)據(jù)處理中間件系統(tǒng)的性能進行了評價。 目前，該并行數(shù)據(jù)處理中間件系統(tǒng)，已經(jīng)在大型應(yīng)用工程中得到實際應(yīng)用。并行數(shù)據(jù)處理中間件系統(tǒng)的研究和實現(xiàn)，為用戶提供了統(tǒng)一的服務(wù)接口和管理平臺，提高了系統(tǒng)的性能