多核平臺索引壓縮及請求處理并行算法研究.pdf

1、面對日益增長的海量網(wǎng)頁數(shù)據(jù)和更大規(guī)模的用戶查詢請求，如何保證較高的處理效率是當(dāng)代搜索引擎面臨的嚴(yán)峻挑戰(zhàn)，同時也是信息檢索系統(tǒng)始終需要解決的核心問題。另一方面，現(xiàn)代處理器中的多核架構(gòu)日趨成熟，這為搜索引擎這種計算密集型應(yīng)用提供了更強的硬件支持。目前主流處理器中的單指令流多數(shù)據(jù)流（Single Instruction Multiple Data，SIMD）指令，能夠在較短的時間內(nèi)完成更多的數(shù)據(jù)運算，從而實現(xiàn)加速效果。
　　針對上述問題

2、和背景，論文結(jié)合現(xiàn)代處理器中的并行架構(gòu)，在總結(jié)前人工作的基礎(chǔ)上，提出了適用于SIMD結(jié)構(gòu)的倒排列表求交及倒排索引解壓的并行算法。具體來說，論文探討了相關(guān)算法原理，結(jié)合Intel處理器平臺的SIMD流技術(shù)擴展（Streaming SIMD Extensions，SSE）指令集及高級矢量擴展(AdvancedVector Extensions，AVX)指令集進(jìn)行優(yōu)化，提升了查詢處理效率，并在壓縮處理上取得明顯效果。論文研究工作主要包括以下兩

3、個方面:
　　第一，倒排列表求交過程中，搜索算法往往會成為性能瓶頸。SSE指令集中的字符串搜索指令，可以充分利用并行優(yōu)勢加速搜索計算。本文選擇了適合SIMD結(jié)構(gòu)的兩種求交算法進(jìn)行改進(jìn)，即哈希分段和線性回歸。從實驗結(jié)果上看，上述兩種改進(jìn)算法都取得了明顯效果。
　　第二，對于搜索引擎來說，如何將倒排索引更多地存入內(nèi)存同樣是影響性能的關(guān)鍵。為了解決這個問題，通常需要對倒排索引進(jìn)行壓縮。由于索引壓縮一般在預(yù)處理階段完成，相比于壓縮速