面向時間序列的流式對象存儲文件系統(tǒng)的設計與實現(xiàn).pdf

1、在生活中，視頻監(jiān)控網(wǎng)、雷達基站、股票市場等都會實時產(chǎn)生大量獨立、連續(xù)的數(shù)據(jù)流，這種隨時間延續(xù)而無限增長的動態(tài)數(shù)據(jù)集合就是流數(shù)據(jù)。而且隨著經(jīng)濟的發(fā)展，各行業(yè)的流數(shù)據(jù)的并發(fā)量和流量越來越大，尤其是視頻安防監(jiān)控領(lǐng)域，傳統(tǒng)的存儲系統(tǒng)由于受到其物理組成以及功能上的局限，已不能滿足海量數(shù)據(jù)存儲的需要。高效能的存儲流數(shù)據(jù)具有重要的現(xiàn)實意義。
　　為了存儲規(guī)模龐大的流數(shù)據(jù)，基于現(xiàn)有的軟硬件技術(shù)，適合采用分布式存儲系統(tǒng)。分布式存儲系統(tǒng)，是將數(shù)據(jù)分散

2、存儲在多臺獨立設備上的存儲系統(tǒng)。分布式存儲系統(tǒng)具有高可擴展、低成本、高性能和易用等優(yōu)勢。專用于保存流數(shù)據(jù)的分布式流存儲系統(tǒng)不同于其他分布式存儲系統(tǒng)，流數(shù)據(jù)時源源不斷的快速連續(xù)到達，對網(wǎng)絡和磁盤形成巨大的負載壓力，寫任務多于讀，系統(tǒng)中存儲的舊數(shù)據(jù)幾乎永不變更但是會在一段時間后過期。
　　由于流數(shù)據(jù)的時間相關(guān)性，流數(shù)據(jù)存儲中通常用時間戳來標定對應的流數(shù)據(jù)，因此具備單調(diào)遞增的時間序列特征，可用于后期的基于時間戳或訪問的數(shù)據(jù)定位及讀取。此

3、外，流數(shù)據(jù)會存在存儲生命周期的需求，例如針對監(jiān)控存儲的原始數(shù)據(jù)，會存在一個固定的過期時間。
　　針對這種實際的情況，本文討論了一種用在分布式視頻流存儲系統(tǒng)中的數(shù)據(jù)存儲服務器上使用的面向時間序列的流式對象存儲文件系統(tǒng)的設計與實現(xiàn)，以滿足高寫入壓力的存儲需求。
　　該文件系統(tǒng)，主要包括如下3個重要的功能點：1、實現(xiàn)了仿文件系統(tǒng)語義供存儲系統(tǒng)開發(fā)者做二次開發(fā)；2、高并發(fā)高吞吐讀寫流數(shù)據(jù)，同時保持良好的可靠性；3、通過多磁盤的優(yōu)化調(diào)