cae-cfd應用與解決方案

1、CAE-CFD應用與解決方案,CAE仿真對高性能計算的需求,計算機輔助工程（CAE）與高性能計算更快的速度更高的精度更大的規(guī)模問題——如何選擇提供最佳應用性能的硬件？CAE軟件眾多，對硬件的需求不一硬件更新速度迅速：處理器、互聯(lián)方式、體系結構曙光公司與MSC、ANSYS、ESI等領先的CAE軟件廠商合作，為用戶提供最佳的解決方案！,1.1 CAE軟件的不同需求,對于Ansys、Nastran以及Abaqus等應用程序并行

2、度不高，擴展性一般小于16CPU單個作業(yè)對內存的要求很大單個作業(yè)對I/O的空間和性能要求很高以ANSYS為例SPARSE----DSPARSE10 GB/MDOF（in-core）10 GB/MDOF I/OPCG----DPCG1 GB/MDOF without MSAVE 0.5 GB/MDOF I/O,虛擬內存(或swap)嚴重影響速度內存的存取速度是硬盤的幾十~幾百倍!計算主進程比從進程需要更大內存主進程

3、擔負更多 (數(shù)據(jù)管理、域劃分等)主進程需要持續(xù)的高性能I/O減少I/O對CPU的占用避免共享文件夾/NFS并行I/O系統(tǒng)(Raid 0),對于Fluent、CFX、LS-Dyna等程序并行效果好能夠在集群環(huán)境下并行到超過128個cpu以雙路服務器性價比最高對內存的需求不強烈通常1 個cpu core配置1GB 內存即可滿足需要。對本地交換硬盤性能要求不高一般采用SCSI/SATA硬盤即可采用高速互聯(lián)設備可以大幅度

4、提高性能以Fluent 為例，8個雙路計算節(jié)點時采用Infiniband 互聯(lián)設備的性能會比千兆以太網好50%以上。Linux 操作系統(tǒng)比Unix 操作系統(tǒng)更加廣泛采用，可根據(jù)需要選擇Windows,,對于Feko等電磁場程序采用PO/UTD方法，并行效果很好，能夠在集群環(huán)境下并行到超過128個cpu采用MoM/FMM方法，并行擴展性不高，小于16cpu對內存和I/O的要求比隱式有限元程序還要高得多,,CAE軟件可擴展性,隱式

5、結構力學MSC.NASTRANMARCANSYSABAQUS/Standard顯式結構力學LS-DYNAAutoDynDytranABAQUS/Explicit計算流體力學FluentSTAR-CD/HPCPowerFLOW CFX CFD-Fastran,計算電磁學Feko矩量法/FMM 128cpu聲學分析sysnoise,處理器的選擇AMD Opteron & Intel Xeon

6、軟件兼容性好，管理方便，成本低，性能較高IBM Power & Intel 安騰性能較高但價格昂貴，軟件兼容度不高發(fā)展趨勢雙核、四核、多核X86和RISC的融合運算加速技術等,1.2 哪些硬件可供選擇,,互聯(lián)方式的選擇千兆以太網，帶寬?。ɡ碚撝?25MB/s),延遲大35--45 µs ；Myrinet：MPI乒乓測試帶寬：230 MB/s，MPI短消息延遲：7 µs ；Infiniban

7、d；MPI乒乓測試帶寬：850 MB/s，MPI短消息延遲：< 7 µs ；,體系結構的選擇,共享內存結構內存支持統(tǒng)一編址處理器之間通過高速總線連接OpenMP支持內部通信能力強例子曙光A950 IBM P575,,集群結構內存無法統(tǒng)一編址計算單元通過網絡相連MPI支持內部通信能力較弱例子曙光TC4000IBM 1350,SMP or 集群？,SMP服務器適用的地方基于OpenMP/多線程

8、需要大量I/O操作Nastran、Ansys、Abaqus、Sysnoise集群服務器適用的地方基于多進程擴展性較好需要分布式任務Fluent、CFX、 Ls-Dyna、 FEKO,SMP＋集群解決方案面臨的問題,傳統(tǒng)方式,RISC SMP服務器＋CISC X86集群,RISC SMP服務器價格較為昂貴,1,最典型的異構平臺特征,2,無法實現(xiàn)統(tǒng)一調度,3,分立存儲方式,4,？,2.曙光CAE高性能計算平臺,完全基于x86-6

9、4處理器的平臺SMP節(jié)點和Cluster節(jié)點之間可以實現(xiàn)最大限度的軟硬件兼容性采用Infiniband網絡進行所有節(jié)點之間的高速連接DCAS/DCJM可對系統(tǒng)軟硬件資源進行完善的管理SKVM可對系統(tǒng)進行方便的操作、管理和監(jiān)控,2.曙光CAE高性能計算平臺,方案特點1,一體化：完全基于x86-64平臺，整合SMP小型機、刀片集群、SAN存儲以及作業(yè)管理軟件,方案特點2,高性能每臺SMP服務器天闊A950提供32處理器內核和256

10、GB以上內存，32*4*2.0G=2560億次每臺TC2600刀片機箱提供80個處理器內核和64*10GB以上內存，80*4*2.0G=6400億次10/20Gbps高速Infiniband網絡大幅度提升并行計算性能全4Gb光纖存儲網絡,方案特點3,高可靠管理、IO節(jié)點冗余配置網絡交換機和光纖交換冗余配置刀片服務器采用全冗余設計電源風扇管理模塊交換模塊,方案特點4,易管理SMP節(jié)點和Cluster節(jié)點之間可以實現(xiàn)最

11、大限度的軟硬件兼容性，降低了管理員的工作難度DCAS/DCJM可對系統(tǒng)軟硬件資源進行完善的管理SKVM可對系統(tǒng)進行方便的操作,舉例:內存帶寬比較（實測） 數(shù)據(jù)訪問率,,,,,,,,,,,,,,,,,,,,,,,,,,,內存帶寬比較 (數(shù)據(jù)流),0,5000,10000,15000,20000,帶寬,(MB/s),,,,,,,,,,,2路至強處理器 5160 (4,線程),6185,6191,5760,5865,,,2路 AMD皓龍

12、處理器,Model 2220 SE (4 線程),13480,13428,13179,13296,,,4路 AMD皓龍?zhí)幚砥?Model 2220 SE (8 線程),18057,18018,18244,18271,Copy,Scale,Add,Triad,,內存帶寬是每秒鐘處理器讀取或存入內存子系統(tǒng)的數(shù)據(jù)量,原因在于前端總線瓶頸,越高越好,英特爾帶寬較低,AMD 集成的內存控制器可以提供移動大量的應用數(shù)據(jù)所需的高內存帶寬,AMD 皓龍

13、處理器 提供的帶寬比2路處理器帶寬高 124%,計算密集型應用基準測試 --流體力學性能 Fluent性能測試,計算密集型應用基準測試 --流體力學性能 Fluent加速比測試,計算密集型應用基準測試 --LSDYNA性能,計算密集型應用基準測試 --LSDyna機群性能,高速Infiniband網絡,InfiniBand is the only growing high speed interconnect105% grow

14、th from June 2006173% growth from Nov 2005Clusters continue to dominate with 72.2% of the Top500 list,Growth rate from June 06 to Nov 06InfiniBand: +105%Myrinet: -10%Quadrics: 0%GigE: -16%,InfiniBand Myri

15、net Quadrics GigE,,,,,1.5 to 2X Faster Run Times with InfiniBand,LS-Dyna,Small-car rigid pole (WPI rp_lsd93),,SMP小型機服務器A950,,,,16*16/1024MHz HT,,GbE,,,,GbE,,,,,,,,,,,,,,,,,,,Intel 82541PI,,,VGA,