面向大規(guī)模實時數(shù)據(jù)的存儲優(yōu)化機制研究.pdf

1、隨著信息技術的發(fā)展，物聯(lián)網(wǎng)越來越多的應用到像智能交通、智能家居、智能醫(yī)療等的智能應用行業(yè)中，以傳感設備為基礎的各類流式數(shù)據(jù)的實時接收和處理成為物聯(lián)網(wǎng)智能應用的關鍵。
　　在智能交通應用中，實時采集的交通信息要進行有效的存儲，為交通信息服務、交通計算、交通管理等提供數(shù)據(jù)支持。面對大規(guī)模的、快速、實時、連續(xù)不間斷到達的數(shù)據(jù)，實現(xiàn)大規(guī)模實時數(shù)據(jù)的存儲成為智能交通應用中不可避免的問題。相對于傳統(tǒng)的存儲介質，HDFS是目前最典型的云存儲平臺

2、，它憑借其高容錯、可伸縮和廉價存儲的優(yōu)點支持大規(guī)模數(shù)據(jù)集的存儲。但是HDFS對于海量、高并發(fā)、連續(xù)、高速的小文件的接收和存儲效率并不高，主要有以下的幾個問題:
　　1，面對高速發(fā)送來的實時數(shù)據(jù)，沒有考慮文件的接入問題，當同時有多個前端設備請求存儲文件時，這就使得存儲系統(tǒng)面對的文件一方面是高速發(fā)送的文件，另一方面是持久化的歷史文件，很容易造成文件的堵塞和丟失。
　　2，HDFS中每個文件、目錄和數(shù)據(jù)塊的存儲信息大約占150個字

3、節(jié)，如果有一百萬個文件，每個文件單獨占一個數(shù)據(jù)塊，至少需要300M內存。大量小文件的存放需要耗費很多的內存資源來記錄文件信息。
　　3，存儲集群中，每個數(shù)據(jù)節(jié)點存儲容量不可能完全一致，由于主節(jié)點選擇數(shù)據(jù)節(jié)點的隨機性，被選中數(shù)據(jù)節(jié)點磁盤可能接近滿額，此時主節(jié)點會自動做存儲負載均衡，占用數(shù)據(jù)傳輸帶寬，不僅影響數(shù)據(jù)傳輸?shù)男阅?，而且會引起傳輸?shù)據(jù)的不可靠
　　針對上述的主要問題，本文以HDFS作為底層的存儲平臺，提出了一種面向大規(guī)模

4、實時數(shù)據(jù)的存儲優(yōu)化方法，通過設置緩存服務器，快速的接受文件，降低文件的丟失率，把海量的小文件合并成大文件，減少文件的數(shù)目，降低文件對NameNode的內存占用，提高HDFS的存儲效率，并借鑒貪心算法，選擇選擇最優(yōu)的節(jié)點進行文件的存儲，最大化地利用存儲資源。本文的主要貢獻如下:
　　第一，設置了高內存的文件緩存服務器，快速接收前端設備發(fā)送來的文件，對符合小文件標準的文件添加標識信息，并存入到相應的臨時文件隊列中，減小了文件的傳輸時間