基于多核平臺的并行數(shù)據(jù)壓縮算法研究及應(yīng)用.pdf

1、隨著計算機技術(shù)、網(wǎng)絡(luò)技術(shù)及控制技術(shù)的飛速發(fā)展，實時歷史數(shù)據(jù)庫在自動化生產(chǎn)中得到了廣泛的應(yīng)用。實時歷史數(shù)據(jù)庫系統(tǒng)對數(shù)據(jù)壓縮速度的需求極高，但傳統(tǒng)的壓縮算法都使用串行處理，很難滿足應(yīng)用的需求。為了提高數(shù)據(jù)壓縮速度，文章提出一種并行壓縮算法，將待處理的數(shù)據(jù)分成若干小塊，使用多線程編程技術(shù)，對塊數(shù)據(jù)壓縮、解壓縮、文件讀寫并發(fā)處理，充分發(fā)揮多核處理器的計算能力，大大提高了數(shù)據(jù)壓縮速度。文章提出的并行壓縮算法在南京南瑞繼保電氣有限公司的調(diào)度自動化系

2、統(tǒng)中得到了很好的應(yīng)用。
　　 基于多核處理器的并行算法主要通過多線程編程來實現(xiàn)。但如果直接使用裸線程編程，程序員需要處理諸如線程的管理、任務(wù)的分配、共享數(shù)據(jù)的協(xié)同等極為復(fù)雜和繁瑣的工作。而且代碼往往非常依賴某個系統(tǒng)，很難實現(xiàn)擴展，更難達到負載均衡。但如果利用設(shè)計好的并行模板進行泛型編程，將十分的靈活，而且高效。為了跨平臺、安全、高效的使用多線程進行并行編程，文章在對各種操作系統(tǒng)的線程操作接口和各種互斥算法研究的基礎(chǔ)上，設(shè)計并實現(xiàn)

3、了一個精簡、實用、方便的多線程操作類和多個互斥操作類。為了可以在多核平臺上安全使用隊列，文章經(jīng)過對多個線程同時在隊列上進行各種操作可能引起的問題和處理方法進行研究后，設(shè)計并實現(xiàn)了一個多線程安全的共享隊列。為了高效的進行并行編程，文章在對各種并行模式比較研究后，設(shè)計了一個并行流水線模板。該流水線模板具有良好的可移植性，可以跨平臺運行；自適應(yīng)多核處理器核數(shù)的變化，具有極好的可擴展性；自動實現(xiàn)負載平衡；使用高度抽象的編程模式，使用時只關(guān)心任務(wù)