基于多核平臺(tái)的并行數(shù)據(jù)壓縮算法研究及應(yīng)用.pdf

1、隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)及控制技術(shù)的飛速發(fā)展，實(shí)時(shí)歷史數(shù)據(jù)庫(kù)在自動(dòng)化生產(chǎn)中得到了廣泛的應(yīng)用。實(shí)時(shí)歷史數(shù)據(jù)庫(kù)系統(tǒng)對(duì)數(shù)據(jù)壓縮速度的需求極高，但傳統(tǒng)的壓縮算法都使用串行處理，很難滿(mǎn)足應(yīng)用的需求。為了提高數(shù)據(jù)壓縮速度，文章提出一種并行壓縮算法，將待處理的數(shù)據(jù)分成若干小塊，使用多線(xiàn)程編程技術(shù)，對(duì)塊數(shù)據(jù)壓縮、解壓縮、文件讀寫(xiě)并發(fā)處理，充分發(fā)揮多核處理器的計(jì)算能力，大大提高了數(shù)據(jù)壓縮速度。文章提出的并行壓縮算法在南京南瑞繼保電氣有限公司的調(diào)度自動(dòng)化系

2、統(tǒng)中得到了很好的應(yīng)用。
　　 基于多核處理器的并行算法主要通過(guò)多線(xiàn)程編程來(lái)實(shí)現(xiàn)。但如果直接使用裸線(xiàn)程編程，程序員需要處理諸如線(xiàn)程的管理、任務(wù)的分配、共享數(shù)據(jù)的協(xié)同等極為復(fù)雜和繁瑣的工作。而且代碼往往非常依賴(lài)某個(gè)系統(tǒng)，很難實(shí)現(xiàn)擴(kuò)展，更難達(dá)到負(fù)載均衡。但如果利用設(shè)計(jì)好的并行模板進(jìn)行泛型編程，將十分的靈活，而且高效。為了跨平臺(tái)、安全、高效的使用多線(xiàn)程進(jìn)行并行編程，文章在對(duì)各種操作系統(tǒng)的線(xiàn)程操作接口和各種互斥算法研究的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)

3、了一個(gè)精簡(jiǎn)、實(shí)用、方便的多線(xiàn)程操作類(lèi)和多個(gè)互斥操作類(lèi)。為了可以在多核平臺(tái)上安全使用隊(duì)列，文章經(jīng)過(guò)對(duì)多個(gè)線(xiàn)程同時(shí)在隊(duì)列上進(jìn)行各種操作可能引起的問(wèn)題和處理方法進(jìn)行研究后，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)多線(xiàn)程安全的共享隊(duì)列。為了高效的進(jìn)行并行編程，文章在對(duì)各種并行模式比較研究后，設(shè)計(jì)了一個(gè)并行流水線(xiàn)模板。該流水線(xiàn)模板具有良好的可移植性，可以跨平臺(tái)運(yùn)行；自適應(yīng)多核處理器核數(shù)的變化，具有極好的可擴(kuò)展性；自動(dòng)實(shí)現(xiàn)負(fù)載平衡；使用高度抽象的編程模式，使用時(shí)只關(guān)心任務(wù)