基于Oracle的數(shù)據(jù)遷移優(yōu)化方法研究.pdf

1、本文以大型互聯(lián)網(wǎng)公司數(shù)據(jù)遷移項目為研究背景。隨著公司業(yè)務發(fā)展的需要，原有系統(tǒng)不斷被功能更強大的新系統(tǒng)所取代。但在舊系統(tǒng)運行期間往往積累了大量珍貴的歷史數(shù)據(jù)，在系統(tǒng)切換中，如何將歷史有效數(shù)據(jù)快速遷移到新系統(tǒng)中，對系統(tǒng)切換以及后續(xù)新系統(tǒng)的正常運行都有著至關重要的影響。因此數(shù)據(jù)遷移往往是許多系統(tǒng)更替時最后、也是最關鍵的環(huán)節(jié)之一。
　　 本文首先介紹了數(shù)據(jù)遷移的相關概念，以及項目中使用到的Oracle數(shù)據(jù)庫和Python 語言的基本知識

2、，然后對Oracle數(shù)據(jù)庫Rowid、數(shù)據(jù)緩沖區(qū)、重做日志組三個方面做了深入的研究。最后結合對Oracle數(shù)據(jù)庫以上三個方面的研究結果使用Python 語言實現(xiàn)了一個高效、靈活的數(shù)據(jù)遷移程序。本文的主要研究成果歸納如下：(1)研究了Rowid 在資料存放與讀取中的作用，闡明了數(shù)據(jù)遷移過程中Rowid 訪問順序如何對遷移速度產生影響。提出了合理的訪問策略，并進行了實驗，結果表明，根據(jù)Rowid 合理安排遷移數(shù)據(jù)讀取順序，能夠大幅提高數(shù)據(jù)遷

3、移速度。(2)研究了數(shù)據(jù)緩沖區(qū)的工作原理以及緩沖區(qū)換入換出策略，闡明了數(shù)據(jù)緩沖區(qū)命中率與數(shù)據(jù)遷移速度間的關系。合理的資料訪問策略能夠大幅提高緩沖區(qū)的命中率，降低磁盤讀寫次數(shù)，使資料遷移速度大大提高。(3)在資料寫入端，研究了重做日志組的行為特點，以及在不同參數(shù)下的表現(xiàn)，闡明了重做日志組如何對遷移速度產生影響。提出了一套相互配合的優(yōu)化參數(shù)，有效避免了頻繁的日志刷新動作，提高數(shù)據(jù)庫有效工作時間。(4)將Rowid﹑數(shù)據(jù)緩沖區(qū)﹑重做日志組的研