分布式存儲系統(tǒng)上數據劃分技術和編譯實現.pdf

1、近年來以機群為代表的分布式存儲超級計算機系統(tǒng)逐漸成為超級計算機的的主流，與共享存儲超級計算機相比，分布式存儲機群系統(tǒng)最大的區(qū)別是數據分散存儲在不同的節(jié)點上的，在考慮其科學計算程序的并行化時，除了必須考慮到計算上的并行性外，還必須考慮數據分布的問題。在當前網絡傳輸技術條件下，過多數據通訊是制約分布式存儲系統(tǒng)性能的關鍵所在，因此，基于分布式存儲系統(tǒng)的并行化編譯的研究重點就在于數據劃分技術和一些輔助性的技術。 Stanford大學的S

2、UIF等系統(tǒng)在分布式并行化編譯上進行了一定的嘗試，但在該領域無論是在理論研究上還是實用系統(tǒng)研發(fā)上都還有很多地方需要進一步的研究，本文在研究現有的并行化技術和數據劃分技術的基礎上，主要在以下三個方面作了一些研究工作：科學計算程序形式上的不規(guī)整性往往嚴重影響其并行性和數據可劃分性，而復雜非緊密嵌套循環(huán)更是常見的不規(guī)整計算模塊，因此本文首先在分析常用循環(huán)變換的特點的基礎上，提出一個復雜非緊密嵌套循環(huán)的變換算法，具體benchmark的改寫證明

3、，該算法能十分有效的改良一些科學計算程序的并行性和數據可劃分性；在這基礎上，從實踐性角度出發(fā)，針對現有分布式并行化系統(tǒng)缺乏一個能有效解決邊界問題整體框架的問題，結合我在參與開發(fā)我所OpenMPtoMPI自動轉換工具的經驗，提出自動數據劃分的一些實用性算法，包換劃分信息的表示，劃分信息的合并、傳遞，劃分信息的決策、發(fā)布，數組的劃塊、對齊，數組邊界代碼的處理和串行程序的處理等。最后，給出一個能覆蓋大量科學計算程序的數據劃分算法——基于幺模變