并行計算平臺上的數(shù)據(jù)索引技術研究.pdf

1、隨著計算機的普及和網(wǎng)絡規(guī)模的不斷擴大，數(shù)字化信息爆炸式的增長。信息的產(chǎn)生、傳播、搜集與查詢成為當今世界人類最基本生活需求。如何在密集數(shù)據(jù)信息中，為用戶更快、更準確的索引信息成為亟待解決的問題。與此同時，人類社會對高性能計算的應用需求也在不斷推動并行計算平臺的普及和提高。數(shù)據(jù)檢索最主要的方法就是構(gòu)建各種適合的索引，并通過對索引來相對高效的檢索各類數(shù)據(jù)信息。但是，隨著檢索數(shù)據(jù)和用戶查詢的規(guī)模增大，信息檢索系統(tǒng)要提升處理能力和處理規(guī)模，需要通

2、過對于并行計算平臺的良好應用來解決。那么如何充分的利用并行計算平臺來提高信息檢索系統(tǒng)的性能，提高系統(tǒng)的處理能力，成為該領域研究的重要問題。
　　 隨著并行計算平臺的發(fā)展，將索引應用于并行計算平臺是一個必然的趨勢。本文采用并行計算“結(jié)構(gòu)—算法—編程—應用”一體化的研究方法，圍繞如何解決并行計算平臺上的密集數(shù)據(jù)索引系統(tǒng)的運行效率、如何完成密集數(shù)據(jù)索引系統(tǒng)從串行到并行的良好過渡、如何實現(xiàn)密集數(shù)據(jù)索引系統(tǒng)的高效能運作等問題展開深入分析研

3、究；良好的解決了此類問題從串行計算時代到并行計算時代過渡中出現(xiàn)的研究障礙，有助于建立并行計算的科學研究體系，增強并行計算平臺的實際應用能力。同時，以并行計算平臺上的高維數(shù)據(jù)索引為典型應用，分別提出基于并行計算平臺的HKD-tree混合索引結(jié)構(gòu)以及基于并行計算平臺的時間序列索引，有效的解決了并行計算平臺上的密集數(shù)據(jù)索引問題。另一方面，針對當今密集數(shù)據(jù)檢索系統(tǒng)的關注熱點，即檢索系統(tǒng)的實時性問題和索引的性能和功耗問題開展深入研究。通過改進傳統(tǒng)

4、的倒排索引有效的解決并行計算平臺上密集數(shù)據(jù)索引系統(tǒng)的實時性問題，并在一定程度上實現(xiàn)了索引過程的高效能。
　　 綜上所述，本文針對并行計算平臺上密集數(shù)據(jù)索引技術的研究，可以有效地提高密集數(shù)據(jù)索引的運行效率和并行性能，充分發(fā)揮并行計算平臺的計算能力，具有一定的學術意義和廣泛的應用前景。具體而言，本文的主要研究成果、貢獻和創(chuàng)新點可概括為以下幾點：
　　 1.基于并行計算平臺提出HKD-tree混合索引結(jié)構(gòu)。該結(jié)構(gòu)將KD-tr

5、ee和LSH兩種索引結(jié)構(gòu)進行組合，利用KD-tree作為上層結(jié)構(gòu)的主干而LSH充當葉子節(jié)點，從而可以利用多核機群系統(tǒng)的層次并行結(jié)構(gòu)特性．與傳統(tǒng)的索引結(jié)構(gòu)相比，該混合索引結(jié)構(gòu)具有高效并行處理、可擴展性好等特點，適于多核機群系統(tǒng)平臺及高維數(shù)據(jù)索引。
　　 2.基于國產(chǎn)并行計算平臺KD60提出一種可實時更新的倒排索引結(jié)構(gòu)。該方案采用主、輔倒排索引和內(nèi)容過濾索引相結(jié)合的方式，實現(xiàn)了搜索過程的實時性。同時，我們將其應用于高性能綠色計算平