社交網(wǎng)絡(luò)大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)優(yōu)化技術(shù)研究.pdf

1、隨著社交網(wǎng)絡(luò)圖片分享應(yīng)用的流行，社交網(wǎng)絡(luò)服務(wù)提供商存儲(chǔ)和傳輸大量圖片數(shù)據(jù)的挑戰(zhàn)更加艱難。為了有效的提升數(shù)據(jù)傳輸性能，服務(wù)提供商一般部署分布式緩存來(lái)解決問(wèn)題。影響分布式緩存性能的因素有兩個(gè)，一個(gè)是服務(wù)器使用的存儲(chǔ)介質(zhì)，另一個(gè)是緩存系統(tǒng)使用的替換算法。由于固態(tài)硬盤(pán)能提供極高的吞吐率，目前分布式緩存經(jīng)常使用固態(tài)硬盤(pán)存儲(chǔ)數(shù)據(jù)。固態(tài)硬盤(pán)的寫(xiě)放大會(huì)影響固態(tài)硬盤(pán)的隨機(jī)寫(xiě)性能和使用壽命，寫(xiě)放大的大小與緩存系統(tǒng)使用的替換算法有關(guān)。
　　經(jīng)過(guò)分析發(fā)現(xiàn)

2、，LRU算法能夠提升緩存的命中率，但同時(shí)引起嚴(yán)重的寫(xiě)放大，F(xiàn)IFO算法能夠?qū)⒐虘B(tài)硬盤(pán)寫(xiě)放大降到最低，但是FIFO的低命中率會(huì)增大帶寬開(kāi)銷。針對(duì)上述問(wèn)題，提出了一種新型的混合替換策略——F-SkLRU，這個(gè)算法能在性能和成本之間做一個(gè)折中。F-SkLRU通過(guò)擴(kuò)大FIFO算法的替換單元進(jìn)行批量的擦寫(xiě)，每個(gè)替換單元保存大量數(shù)據(jù)，利用順序?qū)憗?lái)降低固態(tài)硬盤(pán)的寫(xiě)放大。對(duì)替換單元中保存的數(shù)據(jù)進(jìn)行訪問(wèn)頻度統(tǒng)計(jì)，結(jié)合時(shí)間局部性和訪問(wèn)頻度區(qū)分出冷熱數(shù)據(jù)，在