面向大規(guī)模實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)優(yōu)化機(jī)制研究.pdf

1、隨著信息技術(shù)的發(fā)展，物聯(lián)網(wǎng)越來越多的應(yīng)用到像智能交通、智能家居、智能醫(yī)療等的智能應(yīng)用行業(yè)中，以傳感設(shè)備為基礎(chǔ)的各類流式數(shù)據(jù)的實(shí)時(shí)接收和處理成為物聯(lián)網(wǎng)智能應(yīng)用的關(guān)鍵。
　　在智能交通應(yīng)用中，實(shí)時(shí)采集的交通信息要進(jìn)行有效的存儲(chǔ)，為交通信息服務(wù)、交通計(jì)算、交通管理等提供數(shù)據(jù)支持。面對(duì)大規(guī)模的、快速、實(shí)時(shí)、連續(xù)不間斷到達(dá)的數(shù)據(jù)，實(shí)現(xiàn)大規(guī)模實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)成為智能交通應(yīng)用中不可避免的問題。相對(duì)于傳統(tǒng)的存儲(chǔ)介質(zhì)，HDFS是目前最典型的云存儲(chǔ)平臺(tái)

2、，它憑借其高容錯(cuò)、可伸縮和廉價(jià)存儲(chǔ)的優(yōu)點(diǎn)支持大規(guī)模數(shù)據(jù)集的存儲(chǔ)。但是HDFS對(duì)于海量、高并發(fā)、連續(xù)、高速的小文件的接收和存儲(chǔ)效率并不高，主要有以下的幾個(gè)問題:
　　1，面對(duì)高速發(fā)送來的實(shí)時(shí)數(shù)據(jù)，沒有考慮文件的接入問題，當(dāng)同時(shí)有多個(gè)前端設(shè)備請(qǐng)求存儲(chǔ)文件時(shí)，這就使得存儲(chǔ)系統(tǒng)面對(duì)的文件一方面是高速發(fā)送的文件，另一方面是持久化的歷史文件，很容易造成文件的堵塞和丟失。
　　2，HDFS中每個(gè)文件、目錄和數(shù)據(jù)塊的存儲(chǔ)信息大約占150個(gè)字

3、節(jié)，如果有一百萬個(gè)文件，每個(gè)文件單獨(dú)占一個(gè)數(shù)據(jù)塊，至少需要300M內(nèi)存。大量小文件的存放需要耗費(fèi)很多的內(nèi)存資源來記錄文件信息。
　　3，存儲(chǔ)集群中，每個(gè)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)容量不可能完全一致，由于主節(jié)點(diǎn)選擇數(shù)據(jù)節(jié)點(diǎn)的隨機(jī)性，被選中數(shù)據(jù)節(jié)點(diǎn)磁盤可能接近滿額，此時(shí)主節(jié)點(diǎn)會(huì)自動(dòng)做存儲(chǔ)負(fù)載均衡，占用數(shù)據(jù)傳輸帶寬，不僅影響數(shù)據(jù)傳輸?shù)男阅埽視?huì)引起傳輸數(shù)據(jù)的不可靠
　　針對(duì)上述的主要問題，本文以HDFS作為底層的存儲(chǔ)平臺(tái)，提出了一種面向大規(guī)模

4、實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)優(yōu)化方法，通過設(shè)置緩存服務(wù)器，快速的接受文件，降低文件的丟失率，把海量的小文件合并成大文件，減少文件的數(shù)目，降低文件對(duì)NameNode的內(nèi)存占用，提高HDFS的存儲(chǔ)效率，并借鑒貪心算法，選擇選擇最優(yōu)的節(jié)點(diǎn)進(jìn)行文件的存儲(chǔ)，最大化地利用存儲(chǔ)資源。本文的主要貢獻(xiàn)如下:
　　第一，設(shè)置了高內(nèi)存的文件緩存服務(wù)器，快速接收前端設(shè)備發(fā)送來的文件，對(duì)符合小文件標(biāo)準(zhǔn)的文件添加標(biāo)識(shí)信息，并存入到相應(yīng)的臨時(shí)文件隊(duì)列中，減小了文件的傳輸時(shí)間