基于多核并行的全文檢索動態(tài)后繼樹模型相關算法研究.pdf

1、隨著多核處理器的快速普及，廣大的程序開發(fā)者們面臨著極大的機遇與挑戰(zhàn)。在過去，由于缺乏并行開發(fā)的環(huán)境，大多數(shù)的開發(fā)者們通常只能在單核單線程的平臺上進行程序開發(fā)，所以在大多數(shù)情況下是不會考慮程序的并發(fā)執(zhí)行問題。但是，隨著時間的推移，可以預見單核處理器在不久即將淡出人們的生活，多核處理器在近年來取得極大發(fā)展和普及，大多數(shù)開發(fā)者們都擁有了多核開發(fā)環(huán)境，在進行程序開發(fā)的時候，如果再不考慮程序的并行執(zhí)行相關問題，將不能發(fā)揮多核平臺擁有多線程并行執(zhí)行

2、能力的特點，不能進一步的提高程序的運行效率。
　　 除此之外，伴隨著互聯(lián)網(wǎng)普及速度的進一步加快，搜索引擎成為了互聯(lián)網(wǎng)上最受歡迎的應用之一，而搜索引擎就是全文檢索系統(tǒng)的一個常見應用。伴隨著多核平臺的普及以及硬件價格的下降，建立適用于行業(yè)特色的檢索系統(tǒng)將不再是一件遙不可及的事情。而過去對于全文檢索索引模型的研究主要是通過對于索引結構的修改來提高索引的性能，而本文則希望通過另一種思路，通過對全文檢索系統(tǒng)中動態(tài)后繼樹索引模型相關算法進行

3、基于多核平臺的并行化改進，從而提高索引生成以及檢索的效率，本文主要從事了以下工作:
　　 1、研究多核處理器的主要特點以及在進行多核編程的時候會遇到的問題;比較了多核平臺并行運算與傳統(tǒng)的多機分布式并行運算的不同，以此來作為進行算法并行化研究的指導。
　　 2、分析研究全文檢索系統(tǒng)中不同的索引結構及特點，并與動態(tài)后繼樹索引進行比較，從生成速度、檢索效率以及更新的復雜度等角度出發(fā)，選擇了動態(tài)后繼樹索引進行算法的相關研究。

4、r>　　 3、結合多核編程的特點，研究了動態(tài)后繼樹索引創(chuàng)建算法的任務分配方法，在每個線程擁有各自私有內(nèi)存空間的基礎上，通過任務分配管理分配不同的對象，讓每個并行線程都能以最合理的工作方式工作，最大程度發(fā)揮程序的并行性能。通過在原始索引結構創(chuàng)建算法的基礎上，加入OpenMP指導語句以實現(xiàn)程序的并行化
　　 4、分析了動態(tài)后繼樹的檢索算法的特點，在多分詞查找算法中加入OpenMP指導語句，研究了更適合多核平臺的檢索算法。