GPU通及計(jì)算虛擬化方法研究.pdf

1、作為云計(jì)算的關(guān)鍵性基礎(chǔ)設(shè)施，系統(tǒng)級(jí)虛擬機(jī)技術(shù)是當(dāng)前計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域的研究熱點(diǎn)之一。系統(tǒng)級(jí)虛擬機(jī)技術(shù)成功的將許多物理設(shè)備抽象成內(nèi)存或硬盤中的數(shù)據(jù)結(jié)構(gòu)，如網(wǎng)卡、硬盤、內(nèi)存等，但GPU(Graphic Processing Unit，圖形處理單元)從來不曾被完善的虛擬化。這其中一個(gè)主要原因在于GPU缺乏統(tǒng)一的硬件接口和開放的體系規(guī)范。在實(shí)踐中，學(xué)術(shù)界和工業(yè)界選擇在協(xié)議棧的更高層--用戶API(Application Programming

2、Interface，應(yīng)用程序編程接口)層進(jìn)行虛擬化，一些針對(duì)傳統(tǒng)圖形API的虛擬化工作已取得階段性成果。CUDA(ComputeUnified Device Architecture)是一套嶄新的GPU應(yīng)用編程API，專注于通用計(jì)算(General-Purpose computation)而不是圖形應(yīng)用，是目前事實(shí)上的通用計(jì)算工業(yè)標(biāo)準(zhǔn)。它向程序員提供了直接控制GPU執(zhí)行并行計(jì)算的能力，而不再依賴于傳統(tǒng)圖形API如OPENGL。CUDA框

3、架的出現(xiàn)為系統(tǒng)級(jí)虛擬化技術(shù)帶來了新的問題：已有的針對(duì)圖形API的虛擬化工具對(duì)虛擬化CUDA沒有任何幫助，運(yùn)行在虛擬機(jī)中的應(yīng)用程序無法調(diào)用CUDA API，從而不能利用GPU先進(jìn)的并行加速功能。
　　為了解決這個(gè)問題，本文提出并實(shí)現(xiàn)了首個(gè)針對(duì)通用計(jì)算的虛擬化解決方案--vCUDA(virtual CUDA)。vCUDA允許虛擬機(jī)中的應(yīng)用程序訪問位于虛擬機(jī)外部的通用計(jì)算資源，向它們提供GPU通用計(jì)算能力，對(duì)加速虛擬機(jī)環(huán)境下的高性能計(jì)算

4、具有重要意義。vCUDA的設(shè)計(jì)和實(shí)現(xiàn)有四個(gè)主要的方面：API重定向(API remoting)、懶惰RPC(lazy RPC)、虛擬機(jī)專用RPC系統(tǒng)VMRPC(VirtualMachine Remote Procedure Call)和虛擬機(jī)高級(jí)特性支持。
　　API重定向是指在用戶層攔截API接口，將其參數(shù)轉(zhuǎn)發(fā)到遠(yuǎn)程服務(wù)器，在遠(yuǎn)程服務(wù)器端完成實(shí)際計(jì)算工作，最后將計(jì)算結(jié)果返回用戶。由于采用了在動(dòng)態(tài)庫(kù)中攔截和重定向API的技術(shù)，vC

5、UDA在CUDA程序運(yùn)行過程中實(shí)時(shí)進(jìn)行虛擬化，不要求修改程序源碼、不重新編譯、不改變操作系統(tǒng)，實(shí)現(xiàn)了完全的二進(jìn)制兼容，對(duì)程序員完全透明。針對(duì)NVIDIA官方樣例程序和第三方CUDA應(yīng)用的測(cè)試表明：vCUDA在虛擬機(jī)內(nèi)實(shí)現(xiàn)了CUDA的全部功能，在遠(yuǎn)程服務(wù)器中完整而準(zhǔn)確地模擬了CUDA的內(nèi)部語義，所有實(shí)驗(yàn)均得到了與非虛擬化條件下相同的執(zhí)行結(jié)果。
　　由于CUDA應(yīng)用可能涉及成千上萬個(gè)API，針對(duì)每個(gè)API發(fā)送RPC將導(dǎo)致極大的性能開銷

6、。vCUDA借鑒了圖形項(xiàng)目中延遲更新(lazy update)的優(yōu)化思路，采用了懶惰RPC的方法。盡可能地推遲RPC的發(fā)生時(shí)刻，通過累積、過濾、合并上層調(diào)用，合理確定發(fā)送RPC的時(shí)機(jī)，將連續(xù)的API打包一次性發(fā)送，有效的提高了系統(tǒng)性能。相關(guān)實(shí)驗(yàn)顯示，懶惰RPC可將RPC次數(shù)減少至30%，開啟懶惰RPC后vCUDA虛擬化性能最高可提升148%。
　　VMRPC是首個(gè)直接針對(duì)虛擬機(jī)體系的遠(yuǎn)程過程調(diào)用系統(tǒng)，與傳統(tǒng)RPC系統(tǒng)不同的是，它利

7、用了虛擬機(jī)之間的共享內(nèi)存機(jī)制來實(shí)現(xiàn)堆和棧的共享，避免了不必要的數(shù)據(jù)復(fù)制和序列化操作，達(dá)到了傳統(tǒng)RPC在虛擬機(jī)平臺(tái)下所無法企及的性能。相關(guān)實(shí)驗(yàn)結(jié)果顯示，VMRPC的吞吐率最大可達(dá)到傳統(tǒng)RPC的100倍以上。利用API重定向和VMRPC，vCUDA同時(shí)實(shí)現(xiàn)了虛擬化的透明性和高效性，針對(duì)官方樣例和第三方程序的測(cè)試表明，vCUDA所引入的虛擬化開銷不超過21%，具有較大的實(shí)用價(jià)值。
　　在CUDA虛擬化的相關(guān)基礎(chǔ)上，vCUDA實(shí)現(xiàn)了對(duì)多路

8、復(fù)用、掛起/恢復(fù)等傳統(tǒng)虛擬機(jī)高級(jí)特性的支持，使得依賴于這些特性的虛擬機(jī)應(yīng)用可以無縫部署于vCUDA框架之上。vCUDA采用了“一對(duì)多”模式來實(shí)現(xiàn)多路復(fù)用，由單一的工作線程來滿足不同客戶的應(yīng)用請(qǐng)求。在掛起/恢復(fù)功能方面，vCUDA利用Kernel運(yùn)行的間隙來保存和恢復(fù)當(dāng)前CUDA狀態(tài)。相關(guān)實(shí)驗(yàn)結(jié)果顯示，vCUDA在實(shí)施多路復(fù)用、掛起/恢復(fù)的過程中僅引入了有限的開銷，滿足實(shí)際應(yīng)用的需要。進(jìn)一步，本文利用vCUDA所采用的CUDA狀態(tài)追蹤和管