基于CPU-GPU的條件隨機場并行化研究.pdf

1、條件隨機場作為一種機器學(xué)習算法,廣泛應(yīng)用于詞性標注、信息抽取、圖像分割等領(lǐng)域。實際應(yīng)用中,條件隨機場能靈活地生成大量描述性特征來增強學(xué)習效果,但特征維度會輕易突破百萬級別,使訓(xùn)練過程中需要消耗大量的時間來計算梯度和似然函數(shù),從而在一定程度上限制了條件隨機場解決實際問題的能力?，F(xiàn)有的解決方案分別利用多核CPU或GPU對條件隨機場并行化,然而受限于CPU或GPU本身架構(gòu)特性,加速效果并不讓人滿意。
　　針對上述問題,提出了一種利用CP

2、U-GPU協(xié)同加速條件隨機場模型的新方法。在CPU-GPU協(xié)作并行架構(gòu)中,利用CPU處理內(nèi)存復(fù)雜度高和分支判斷較多的模型訓(xùn)練優(yōu)化過程,解決了傳統(tǒng)GPU并行中因處理器內(nèi)存有限和弱分支判斷處理能力而導(dǎo)致的整體并行效果低的問題。在GPU并行化方面,針對密集型計算過程的不同特性,提出兩級并行方法以獲得最大化并行效果:狀態(tài)矩陣中所有元素在獨立計算層Node Level并行;而狀態(tài)矩陣中所有可能路徑的計算則基于序列依賴計算層Sentence Lev