GPU加速的FastDFS主動(dòng)存儲(chǔ)的研究與實(shí)現(xiàn).pdf

1、隨著時(shí)代的進(jìn)步和網(wǎng)絡(luò)技術(shù)的廣泛發(fā)展，人們對(duì)網(wǎng)絡(luò)越來(lái)越依賴。人們所產(chǎn)生的數(shù)據(jù)都存放在云服務(wù)器端，并且越來(lái)越多的存儲(chǔ)服務(wù)需要對(duì)存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)執(zhí)行分析、歸類、總結(jié)等操作。這對(duì)網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)帶寬提出了更高的需求。本文的主要目的是通過(guò)研究主動(dòng)存儲(chǔ)機(jī)制來(lái)提高分布式文件系統(tǒng)FastDFS的存儲(chǔ)性能。
　　首先，我們根據(jù)主動(dòng)存儲(chǔ)概念設(shè)計(jì)了適用于FastDFS的主動(dòng)存儲(chǔ)(AS)模型。它采用了傳統(tǒng)的C/S模型，我們?cè)诳蛻舳撕头?wù)器端分別實(shí)現(xiàn)了主

2、動(dòng)存儲(chǔ)接口函數(shù)，用于實(shí)現(xiàn)主動(dòng)存儲(chǔ)機(jī)制。但是上述主動(dòng)存儲(chǔ)模型有兩個(gè)缺點(diǎn)。第一，它只適合于數(shù)據(jù)過(guò)濾型的存儲(chǔ)服務(wù)，對(duì)于其他類型存儲(chǔ)服務(wù)的加速效果不明顯。第二，存儲(chǔ)服務(wù)器端的計(jì)算能力有限。因?yàn)镃PU不僅需要處理客戶端發(fā)送的命令，還需要執(zhí)行對(duì)應(yīng)的計(jì)算任務(wù)。并且，CPU被設(shè)計(jì)為主要處理邏輯運(yùn)算任務(wù)，并不擅長(zhǎng)數(shù)據(jù)密集型的計(jì)算任務(wù)。
　　針對(duì)上述的兩個(gè)缺點(diǎn)，我們對(duì)主動(dòng)存儲(chǔ)模型進(jìn)行了優(yōu)化，提出了GPU加速的主動(dòng)存儲(chǔ)(GAS)模型。我們?cè)谀Ｐ椭屑尤肓?/p>

3、調(diào)用GPU計(jì)算能力的并行計(jì)算模塊，以及解決系統(tǒng)擴(kuò)展性問(wèn)題的kernel library模塊。通過(guò)調(diào)用GPU的大規(guī)模并行計(jì)算能力來(lái)增強(qiáng)服務(wù)器的計(jì)算能力，使它能夠適合更多類型的存儲(chǔ)服務(wù)。在實(shí)現(xiàn)過(guò)程中，我們使用OpenCL編程語(yǔ)言來(lái)調(diào)用GPU的通用計(jì)算能力。
　　其次，在主動(dòng)存儲(chǔ)框架設(shè)計(jì)完成后，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了客戶端與存儲(chǔ)服務(wù)器端的通信協(xié)議ASCP。并且分別實(shí)現(xiàn)了客戶端與服務(wù)器端的主動(dòng)存儲(chǔ)API。
　　最后，搭建實(shí)驗(yàn)平臺(tái)，對(duì)上述的