集中式I-O技術(shù)研究及數(shù)據(jù)再分配算法優(yōu)化.pdf

1、本文對集中式I/O技術(shù)進行了研究，并在此基礎(chǔ)上討論了如何提高對非連續(xù)數(shù)據(jù)訪問的性能。在許多并行應(yīng)用中，每個進程需要訪問在文件中存放位置不連續(xù)的小塊數(shù)據(jù)。訪問這種不連續(xù)的小塊數(shù)據(jù)需要很多的I/O請求，這樣勢必會導致并行I/O性能的下降。因此I/O操作已經(jīng)成為了影響并行應(yīng)用程序效率的主要瓶頸。如何對數(shù)據(jù)進行組織、存儲以及有效的訪問數(shù)據(jù)成為了迫切需要研究的問題。
　　 本文在兩階段I/O的基礎(chǔ)上，針對兩階段I/O中數(shù)據(jù)再分配算法，提出

2、了一個全新改進方案：統(tǒng)計一執(zhí)行式I/O技術(shù)(statistic-executive I/O)。該方案針對最常見的塊數(shù)據(jù)分布和循環(huán)數(shù)據(jù)分布進行了I/O優(yōu)化。我們將并行I/O分為兩個階段：統(tǒng)計階段和執(zhí)行階段。在統(tǒng)計階段，通信模式被計算出來，并且自動生成所需的數(shù)據(jù)類型。這些信息在執(zhí)行階段(執(zhí)行通信和文件存取)被使用。這兩個階段是獨立的，所以，對于重復(fù)的文件存取模式，統(tǒng)計階段的計算可以執(zhí)行一次，計算的結(jié)果被執(zhí)行階段多次重用。這種策略將統(tǒng)計階段的