面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來隨著視頻監(jiān)控技術(shù)的發(fā)展，視頻監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)與處理已成為智慧城市，智慧交通應(yīng)用中的關(guān)鍵問題?，F(xiàn)有的視頻監(jiān)控存儲(chǔ)體系架構(gòu)在應(yīng)付數(shù)量越來越多的高清攝像頭上已顯得力不從心。在多達(dá)上千路高碼率視頻流的長(zhǎng)時(shí)間并發(fā)寫入的場(chǎng)景下，現(xiàn)有的存儲(chǔ)系統(tǒng)中磁盤 I/O吞吐率已稱為嚴(yán)重的瓶頸，隨之而來的還有巨大的能源開銷和磁盤損耗。這些都是現(xiàn)有的監(jiān)控視頻存儲(chǔ)方案中亟待解決的問題。
　　針對(duì)這些問題，本文結(jié)合當(dāng)前國(guó)內(nèi)外在海量數(shù)據(jù)存儲(chǔ)方面的研究現(xiàn)狀和發(fā)展方

2、向，通過分析視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)特點(diǎn)和結(jié)合現(xiàn)有存儲(chǔ)系統(tǒng)架構(gòu)資源調(diào)度方式，設(shè)計(jì)并實(shí)現(xiàn)了面向海量高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng) SSTORE，并以此為背景對(duì)其內(nèi)部專門針對(duì)監(jiān)控視頻流數(shù)據(jù)存儲(chǔ)所設(shè)計(jì)的分布式文件系統(tǒng) SFS進(jìn)行了充分闡述。本文主要工作與創(chuàng)新點(diǎn)有以下幾點(diǎn)：
　　1.設(shè)計(jì)了磁盤分區(qū)連續(xù)存儲(chǔ)模型 CSM。該存儲(chǔ)模型通過多流并發(fā)隨機(jī)寫入調(diào)制和分塊內(nèi)存緩沖技術(shù)，將磁盤上的并發(fā)隨機(jī)寫轉(zhuǎn)換為順序?qū)懀柡屠么疟PI/O吞吐率。
　　2.通過采

3、用epoll異步事件驅(qū)動(dòng)模型來處理網(wǎng)絡(luò)IO請(qǐng)求，極大提升了系統(tǒng)網(wǎng)絡(luò)IO性能。同時(shí)設(shè)計(jì)了線程池結(jié)構(gòu)來實(shí)現(xiàn)系統(tǒng)任務(wù)調(diào)度和網(wǎng)絡(luò)數(shù)據(jù)寫入與磁盤數(shù)據(jù)寫入的異步操作，增加系統(tǒng)并發(fā)處理能力。
　　3.設(shè)計(jì)并實(shí)現(xiàn)了一種基于CSM分區(qū)的離線復(fù)制機(jī)制和磁盤工作調(diào)度機(jī)制，提升系統(tǒng)運(yùn)行過程中休眠磁盤所占比率，延長(zhǎng)磁盤使用壽命并降低能源開銷。
　　4.設(shè)計(jì)了靈活的副本冗余機(jī)制，針對(duì)同一塊磁盤不同分區(qū)速率的差異，讓這些分區(qū)上的數(shù)據(jù)備份具有不同的保存周期