分布式視頻流存儲(chǔ)元數(shù)據(jù)服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來公共安全威脅愈發(fā)嚴(yán)峻，將安防監(jiān)控技術(shù)應(yīng)用到公共安全中刻不容緩?，F(xiàn)有安防監(jiān)控領(lǐng)域?qū)?shù)據(jù)的存儲(chǔ)普遍采用普通分布式存儲(chǔ)系統(tǒng)架構(gòu)。然而，這樣的存儲(chǔ)架構(gòu)下，系統(tǒng)使用多副本策略保證數(shù)據(jù)的可靠性，存儲(chǔ)空間利用率低；此外，多數(shù)系統(tǒng)使用輪詢調(diào)度算法調(diào)度存儲(chǔ)節(jié)點(diǎn)，忽略了存儲(chǔ)節(jié)點(diǎn)的負(fù)載均衡性問題，導(dǎo)致節(jié)點(diǎn)性能抖動(dòng)較大；而且，在數(shù)據(jù)丟失恢復(fù)任務(wù)中，沒有考慮視頻流存儲(chǔ)的有效時(shí)長(zhǎng)等因素，數(shù)據(jù)恢復(fù)價(jià)值較低。本系統(tǒng)將分布式存儲(chǔ)架構(gòu)技術(shù)與安防監(jiān)控行業(yè)相結(jié)合，設(shè)計(jì)與

2、實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)器，旨在提高監(jiān)控?cái)?shù)據(jù)的可靠性和系統(tǒng)可擴(kuò)展性，在接入互聯(lián)網(wǎng)的情況下，支持用戶在合法權(quán)限內(nèi)，獲取任意攝像頭的任意時(shí)間的數(shù)據(jù)。
　　元數(shù)據(jù)服務(wù)器結(jié)合時(shí)間戳策略，設(shè)計(jì)了基于糾刪碼的分布式存儲(chǔ)系統(tǒng)和卷式元數(shù)據(jù)管理結(jié)構(gòu)，實(shí)現(xiàn)了對(duì)存儲(chǔ)任務(wù)和恢復(fù)任務(wù)的均衡調(diào)度。具體研究?jī)?nèi)容如下：
　　1.設(shè)計(jì)和實(shí)現(xiàn)了時(shí)間戳策略來維護(hù)存儲(chǔ)系統(tǒng)中不同服務(wù)器之間卷信息元數(shù)據(jù)的一致性。存儲(chǔ)系統(tǒng)中的每個(gè)服務(wù)器同時(shí)記錄系統(tǒng)中所有卷數(shù)據(jù)的時(shí)間戳信息，以元

3、數(shù)據(jù)服務(wù)器上的卷時(shí)間戳信息為系統(tǒng)唯一參考標(biāo)準(zhǔn)，判斷其余模塊中卷信息元數(shù)據(jù)的有效性。
　　2.設(shè)計(jì)和實(shí)現(xiàn)了以節(jié)點(diǎn)和卷為索引的兩個(gè)維度的元數(shù)據(jù)管理結(jié)構(gòu)。元數(shù)據(jù)服務(wù)器維護(hù)每個(gè)存儲(chǔ)節(jié)點(diǎn)的系統(tǒng)健康狀態(tài)信息，為任務(wù)的均衡調(diào)度提供參考；同時(shí)，記錄每個(gè)存儲(chǔ)節(jié)點(diǎn)上數(shù)據(jù)分布情況和卷式數(shù)據(jù)的糾刪碼策略相關(guān)信息，為數(shù)據(jù)丟失后的恢復(fù)任務(wù)提供依據(jù)。同時(shí)，支持系統(tǒng)節(jié)點(diǎn)的動(dòng)態(tài)擴(kuò)展。
　　3.設(shè)計(jì)和實(shí)現(xiàn)了基于多目標(biāo)優(yōu)化算法的任務(wù)調(diào)度策略。針對(duì)存儲(chǔ)任務(wù)的分發(fā)，

4、目標(biāo)函數(shù)不僅保證節(jié)點(diǎn)的負(fù)載均衡，而且讓不同節(jié)點(diǎn)之間的執(zhí)行任務(wù)數(shù)量差值最??；針對(duì)恢復(fù)任務(wù)優(yōu)先級(jí)的制定，目標(biāo)函數(shù)優(yōu)先選擇數(shù)據(jù)冗余率低、丟失率高、視頻剩余有效時(shí)間長(zhǎng)的卷，提高系統(tǒng)的可靠性。
　　通過對(duì)分布式視頻流存儲(chǔ)系統(tǒng)進(jìn)行功能和性能測(cè)試，元數(shù)據(jù)服務(wù)器達(dá)到了對(duì)視頻流數(shù)據(jù)存儲(chǔ)、讀取和恢復(fù)等功能的控制管理需求；另外，存儲(chǔ)任務(wù)和恢復(fù)任務(wù)的調(diào)度策略，不僅降低了存儲(chǔ)節(jié)點(diǎn)的負(fù)載失衡機(jī)率，而且延遲了低效恢復(fù)任務(wù)的執(zhí)行，提高了系統(tǒng)恢復(fù)數(shù)據(jù)的后期使用價(jià)值