基于GPU的快速摘要生成方法.pdf

1、作為搜索引擎展示最終搜索結(jié)果的重要組成部分,基于查詢的摘要是現(xiàn)代搜索引擎最常用的方法,它可以向用戶展示結(jié)果文檔中與檢索詞關(guān)聯(lián)度最大的若干片段,這種基于查詢的摘要可以使得搜索結(jié)果對于用戶而言更直觀,更具針對性。根據(jù)查詢詞來計算一篇文檔的摘要是輕量級的任務(wù),但是現(xiàn)今的搜索引擎往往要面對海量的查詢請求,而每個請求所呈現(xiàn)的結(jié)果頁面中的每個結(jié)果文檔都必須根據(jù)查詢詞來生成相應(yīng)的摘要,因此基于查詢的摘要計算是現(xiàn)代搜索引擎系統(tǒng)中耗費計算資源相當(dāng)大的一個

2、部分。為了改進在大負載條件下摘要生成計算的性能和經(jīng)濟性,提出了一種基于CPU-GPU(Graphic Processing Unit,圖形處理單元)混合系統(tǒng)的高性能并行處理方法。
　　提出了一種適合GPU處理的摘要生成算法,這個算法采用了滑動窗口的文檔切分方法,目的是為了避免傳統(tǒng)的截斷式文檔切分法所導(dǎo)致的高關(guān)聯(lián)度片段被切斷的問題。與此同時,算法還采用了一種新的量化公式來評估一個片段與查詢詞的關(guān)聯(lián)度。
　　在對CPU-GPU混

3、合系統(tǒng)運行特征進行分析的基礎(chǔ)之上,對前述的摘要生成算法進行了改進。將一個摘要生成任務(wù)內(nèi)部并行化的同時,還實現(xiàn)了任務(wù)間的并行化,并設(shè)計了一種三段式的流水線系統(tǒng)來支持此并行化的處理方法。為了實現(xiàn)此三段式流水線系統(tǒng),設(shè)計了一種異步執(zhí)行框架JobFlow,此框架采用基于服務(wù)的編程模式,可以支持高度的模塊化和并行化的程序設(shè)計。
　　開展了多項試驗以優(yōu)化系統(tǒng)的性能指標(biāo)并評估系統(tǒng)的性能和經(jīng)濟效能。實驗結(jié)果顯示,與基準(zhǔn)摘要生成算法Lucene的H