分布式視頻流存儲元數(shù)據(jù)服務器的設計與實現(xiàn).pdf

1、近年來公共安全威脅愈發(fā)嚴峻，將安防監(jiān)控技術應用到公共安全中刻不容緩?，F(xiàn)有安防監(jiān)控領域對數(shù)據(jù)的存儲普遍采用普通分布式存儲系統(tǒng)架構。然而，這樣的存儲架構下，系統(tǒng)使用多副本策略保證數(shù)據(jù)的可靠性，存儲空間利用率低；此外，多數(shù)系統(tǒng)使用輪詢調度算法調度存儲節(jié)點，忽略了存儲節(jié)點的負載均衡性問題，導致節(jié)點性能抖動較大；而且，在數(shù)據(jù)丟失恢復任務中，沒有考慮視頻流存儲的有效時長等因素，數(shù)據(jù)恢復價值較低。本系統(tǒng)將分布式存儲架構技術與安防監(jiān)控行業(yè)相結合，設計與

2、實現(xiàn)了元數(shù)據(jù)服務器，旨在提高監(jiān)控數(shù)據(jù)的可靠性和系統(tǒng)可擴展性，在接入互聯(lián)網的情況下，支持用戶在合法權限內，獲取任意攝像頭的任意時間的數(shù)據(jù)。
　　元數(shù)據(jù)服務器結合時間戳策略，設計了基于糾刪碼的分布式存儲系統(tǒng)和卷式元數(shù)據(jù)管理結構，實現(xiàn)了對存儲任務和恢復任務的均衡調度。具體研究內容如下：
　　1.設計和實現(xiàn)了時間戳策略來維護存儲系統(tǒng)中不同服務器之間卷信息元數(shù)據(jù)的一致性。存儲系統(tǒng)中的每個服務器同時記錄系統(tǒng)中所有卷數(shù)據(jù)的時間戳信息，以元

3、數(shù)據(jù)服務器上的卷時間戳信息為系統(tǒng)唯一參考標準，判斷其余模塊中卷信息元數(shù)據(jù)的有效性。
　　2.設計和實現(xiàn)了以節(jié)點和卷為索引的兩個維度的元數(shù)據(jù)管理結構。元數(shù)據(jù)服務器維護每個存儲節(jié)點的系統(tǒng)健康狀態(tài)信息，為任務的均衡調度提供參考；同時，記錄每個存儲節(jié)點上數(shù)據(jù)分布情況和卷式數(shù)據(jù)的糾刪碼策略相關信息，為數(shù)據(jù)丟失后的恢復任務提供依據(jù)。同時，支持系統(tǒng)節(jié)點的動態(tài)擴展。
　　3.設計和實現(xiàn)了基于多目標優(yōu)化算法的任務調度策略。針對存儲任務的分發(fā)，

4、目標函數(shù)不僅保證節(jié)點的負載均衡，而且讓不同節(jié)點之間的執(zhí)行任務數(shù)量差值最小；針對恢復任務優(yōu)先級的制定，目標函數(shù)優(yōu)先選擇數(shù)據(jù)冗余率低、丟失率高、視頻剩余有效時間長的卷，提高系統(tǒng)的可靠性。
　　通過對分布式視頻流存儲系統(tǒng)進行功能和性能測試，元數(shù)據(jù)服務器達到了對視頻流數(shù)據(jù)存儲、讀取和恢復等功能的控制管理需求；另外，存儲任務和恢復任務的調度策略，不僅降低了存儲節(jié)點的負載失衡機率，而且延遲了低效恢復任務的執(zhí)行，提高了系統(tǒng)恢復數(shù)據(jù)的后期使用價值