【資料下載】海量comtrade數(shù)據(jù)并行解析算法

1、海量COMTRADE數(shù)據(jù)并行解析算法桂勛1姚蘭2錢清泉3(1.電子科技大學(xué)空天科學(xué)技術(shù)研究院四川省成都市6100542.成都信息工程學(xué)院控制工程系四川省成都市6102253.西南交通大學(xué)電氣工程學(xué)院自動(dòng)化研究所四川省成都市610031)摘要:針對(duì)電力系統(tǒng)暫態(tài)監(jiān)測(cè)數(shù)據(jù)向海量化發(fā)展的趨勢(shì)以及對(duì)各種串行編程分析軟件造成的計(jì)算壓力研究了一種基于多核的、采用流水線設(shè)計(jì)思想的海量電力系統(tǒng)暫態(tài)數(shù)據(jù)交換通用格式(COMTRADE)數(shù)據(jù)文件并行解析算法。

2、在面向二進(jìn)制格式的并行解析算法中采用了2階段的流水線步驟:第1階段為文件讀取第2階段為多線程解析。在面向美國(guó)標(biāo)準(zhǔn)信息交換碼(II)格式的并行解析算法中采用了3階段的流水線步驟:前2個(gè)階段與二進(jìn)制格式的并行解析算法一樣第3階段為塊邊緣解析打破了傳統(tǒng)的串行文本解析算法。算法通過有效利用以往被忽視的數(shù)據(jù)文件中的序號(hào)信息大幅提升了并行解析的并行度。試驗(yàn)證明此算法可獲得相當(dāng)高的加速比并且可隨著CPU核數(shù)的增加和COMTRADE數(shù)據(jù)文件的加大獲得線

3、性加速比。關(guān)鍵詞:海量數(shù)據(jù)暫態(tài)數(shù)據(jù)交換通用格式(COMTRADE)多核流水線并行解析電力系統(tǒng)中圖分類號(hào):TM734收稿日期:20081209修回日期:20090423。0引言近年來隨著電子技術(shù)的快速發(fā)展電力系統(tǒng)暫態(tài)錄波明顯向高采樣率、連續(xù)穩(wěn)態(tài)記錄和海量存儲(chǔ)的趨勢(shì)發(fā)展[1]。其中為了提高海量故障錄波數(shù)據(jù)的傳輸效率和降低存儲(chǔ)空間眾多文獻(xiàn)提出了各種各樣的數(shù)據(jù)壓縮算法[23]但是隨著電力通信網(wǎng)絡(luò)的改善百兆、千兆以太網(wǎng)大規(guī)模安裝通信效率已經(jīng)不再是

4、難以克服的瓶頸因此目前眾多廠家已經(jīng)開始放棄了原有復(fù)雜的壓縮方案而直接在高速以太網(wǎng)上傳輸錄波數(shù)據(jù)。目前這種錄波數(shù)據(jù)海量化趨勢(shì)已經(jīng)給各種基于串行編程方式設(shè)計(jì)的分析軟件[47]增加了不小的計(jì)算壓力其中最明顯的就是海量錄波記錄文件解析時(shí)間過長(zhǎng)而導(dǎo)致的軟件效率低下。而在計(jì)算機(jī)硬件技術(shù)發(fā)展方面目前已經(jīng)進(jìn)入多核計(jì)算時(shí)代原來傳統(tǒng)的面向單核的串行編程技術(shù)被完全顛覆逐漸被基于多線程模式的并行編程技術(shù)所取代[8]。針對(duì)這2個(gè)方面的發(fā)展趨勢(shì)本文研究并實(shí)現(xiàn)了海量

5、電力系統(tǒng)暫態(tài)數(shù)據(jù)交換通用格式(COMTRADE)數(shù)據(jù)文件的并行解析算法。算法可極大地提高面向海量故障錄波數(shù)據(jù)、海量廣域測(cè)量數(shù)據(jù)和海量電能質(zhì)量錄波數(shù)據(jù)的軟件處理效率并可隨著未來CPU核數(shù)的增加和COMTRADE數(shù)據(jù)文件的加大獲得線性加速比[8]。1COMTRADE標(biāo)準(zhǔn)為規(guī)范不同廠家的電力數(shù)字記錄設(shè)備進(jìn)行系統(tǒng)故障錄波與暫態(tài)仿真的存儲(chǔ)格式便于第三方的處理和分析IEEE在1991年制定了COMTRADE標(biāo)準(zhǔn)(IEEEStdC37.111—199

6、1)[9]。最新修訂的1999標(biāo)準(zhǔn)(IEEEStdC37.111—1999)規(guī)定與記錄信息相關(guān)的文件有4個(gè):頭標(biāo)文件、配置文件、數(shù)據(jù)文件和信息文件。其中對(duì)于第三方暫態(tài)數(shù)據(jù)分析軟件而言最重要的是配置文件和數(shù)據(jù)文件其他文件是可選的。數(shù)據(jù)文件記錄著每個(gè)采樣通道中的每個(gè)采樣數(shù)值。數(shù)據(jù)文件可以是美國(guó)標(biāo)準(zhǔn)信息交換碼(II)格式或二進(jìn)制格式。二進(jìn)制數(shù)據(jù)文件與II數(shù)據(jù)文件格式類似每一行應(yīng)分為“TT2”列其中TT代表配置文件中模擬量通道和狀態(tài)量通道的總和

7、另外2個(gè)是采樣序號(hào)和時(shí)間標(biāo)記。二進(jìn)制文件以比特形式集中存放狀態(tài)量通道數(shù)據(jù)各個(gè)數(shù)據(jù)之間沒有分隔符每組采樣值之間沒有回車換行符隔開。各列的具體內(nèi)容如下所示:第1列為采樣序號(hào)第2列為采樣數(shù)據(jù)的時(shí)間標(biāo)記第3組的列為表示模擬量通道信息的采樣數(shù)據(jù)值第4組的列為表示狀態(tài)量通道信息的采樣數(shù)據(jù)值。2并行解析算法設(shè)計(jì)2.1二進(jìn)制數(shù)據(jù)文件并行解析算法二進(jìn)制數(shù)據(jù)文件的并行解析算法原理如圖1所示?！?2—第33卷第15期2009年8月10日Vol.33No.15

8、Aug.102009while(1)等待事件通知退出線程BLOCKBINARY＊pCB=popfront(線程ID號(hào))f(inti=0iEv邊緣數(shù)據(jù)向量2.2.2并行解析算法的詳細(xì)步驟II數(shù)據(jù)文件的并行解析算法具體步驟如下(步驟1～步驟3與二進(jìn)制數(shù)據(jù)文件算法所對(duì)應(yīng)的步驟內(nèi)容類似此處就不贅述):步驟4:通過數(shù)據(jù)文件大小和每次讀取的NBlockSize計(jì)算出讀取線程的最終讀取次數(shù)M并將邊緣數(shù)據(jù)向量Ev的大小設(shè)置為2M。步驟5:啟動(dòng)讀取數(shù)據(jù)線