物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)研究.pdf

1、物聯(lián)網(wǎng)(The Internet of Things，IoT)是一個(gè)將海量傳感設(shè)備與互聯(lián)網(wǎng)相結(jié)合起來(lái)而形成的巨大網(wǎng)絡(luò)。在物聯(lián)網(wǎng)中，海量傳感設(shè)備不斷地采集數(shù)據(jù)并發(fā)送到數(shù)據(jù)中心;隨著感知技術(shù)與網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，數(shù)據(jù)呈現(xiàn)出海量特性，形成了物聯(lián)網(wǎng)大數(shù)據(jù)。對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行持久化存儲(chǔ)，可以獲得任一傳感器的歷史與當(dāng)前感知數(shù)據(jù)，通過(guò)對(duì)數(shù)據(jù)進(jìn)行檢索和統(tǒng)計(jì)分析，可以實(shí)現(xiàn)復(fù)雜與規(guī)律的感知和趨勢(shì)分析;數(shù)據(jù)存儲(chǔ)與管理以流任務(wù)運(yùn)行在數(shù)據(jù)中心中，通過(guò)節(jié)能任務(wù)調(diào)度

2、，降低物聯(lián)網(wǎng)應(yīng)用的成本。這些都為城市安全、智慧城市、目標(biāo)識(shí)別與跟蹤、位置服務(wù)等諸多領(lǐng)域帶來(lái)了新的機(jī)遇。
　　物聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)與管理，需要持久化存儲(chǔ)數(shù)據(jù)，實(shí)時(shí)檢索數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行及時(shí)的分析和處理，并提供高效的計(jì)算框架，最終對(duì)數(shù)據(jù)實(shí)現(xiàn)有效的感知與控制。但是，物聯(lián)網(wǎng)大數(shù)據(jù)的海量特性為數(shù)據(jù)的存儲(chǔ)與管理帶來(lái)了巨大的挑戰(zhàn)。首先，“持久化存儲(chǔ)”，海量傳感器頻繁地產(chǎn)生新的采集數(shù)據(jù)，并發(fā)送到數(shù)據(jù)中心，形成了每秒數(shù)GB的數(shù)據(jù)寫(xiě)入流，對(duì)HDFS等傳統(tǒng)

3、持久化存儲(chǔ)系統(tǒng)帶來(lái)了巨大的挑戰(zhàn)。在以HDFS為代表的大規(guī)模分布式文件系統(tǒng)中，雖然它們支持大數(shù)據(jù)存儲(chǔ)，但由于這些文件系統(tǒng)在設(shè)計(jì)時(shí)并沒(méi)有考慮對(duì)實(shí)時(shí)、高性能的數(shù)據(jù)存儲(chǔ)，因此無(wú)法滿(mǎn)足日益增長(zhǎng)的大數(shù)據(jù)在線存儲(chǔ)的需求，例如HDFS在面對(duì)海量小文件的數(shù)據(jù)流時(shí)，單機(jī)性能往往下降到數(shù)MB/s，遠(yuǎn)遠(yuǎn)滿(mǎn)足不了實(shí)際需求。第二，“數(shù)據(jù)檢索”，存儲(chǔ)在持久化設(shè)備中的數(shù)據(jù)，需要借助數(shù)據(jù)檢索系統(tǒng)，快速查找數(shù)據(jù)，但是目前以關(guān)系數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)為主的數(shù)據(jù)庫(kù)系統(tǒng)不能有

4、效滿(mǎn)足物聯(lián)網(wǎng)大數(shù)據(jù)的檢索需求，例如NoSQL數(shù)據(jù)庫(kù)設(shè)計(jì)了基于磁盤(pán)存儲(chǔ)的讀寫(xiě)方式、索引結(jié)構(gòu)、查詢(xún)執(zhí)行、查詢(xún)優(yōu)化、恢復(fù)策略，但是磁盤(pán)固有的讀寫(xiě)性能差等弊端限制了大數(shù)據(jù)存儲(chǔ)尤其是大數(shù)據(jù)分析性能的提升。第三，“數(shù)據(jù)統(tǒng)計(jì)分析”，這需要建立數(shù)據(jù)立方體，以實(shí)現(xiàn)高效的數(shù)據(jù)統(tǒng)計(jì)分析。但是目前傳統(tǒng)的數(shù)據(jù)立方體，如HIVE等，都只能針對(duì)確定型數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，當(dāng)面對(duì)物聯(lián)網(wǎng)中的概率型數(shù)據(jù)時(shí)，統(tǒng)計(jì)分析的時(shí)間開(kāi)銷(xiāo)為“小時(shí)”級(jí)別，不能滿(mǎn)足實(shí)際應(yīng)用的需求。最后，數(shù)據(jù)的

5、存儲(chǔ)、檢索、分析都以流任務(wù)的形式運(yùn)行在數(shù)據(jù)中心之中，數(shù)據(jù)中心的運(yùn)維成本有40％為能耗成本，如何實(shí)現(xiàn)節(jié)能任務(wù)調(diào)度就成為了降低數(shù)據(jù)中心成本的關(guān)鍵，而目前以Hadoop YARN為代表的任務(wù)調(diào)度平臺(tái)不支持節(jié)能任務(wù)調(diào)度。
　　綜上所述，目前許多已有的數(shù)據(jù)存儲(chǔ)與管理技術(shù)在面對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)時(shí)，都存在著局限性。針對(duì)上述問(wèn)題，本文提出一種“面向物聯(lián)網(wǎng)大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)框架”(Sensor Storage)。Sensor Storage是一

6、個(gè)分布式的數(shù)據(jù)存儲(chǔ)、檢索、分析平臺(tái)，主要包括以下關(guān)鍵技術(shù)。
　　(1)面向海量小文件的分布式文件系統(tǒng)。本研究建立一個(gè)基于HDFS擴(kuò)展的分布式存儲(chǔ)系統(tǒng)SensorFS，該系統(tǒng)架構(gòu)可以對(duì)海量小文件進(jìn)行快速存儲(chǔ)、查詢(xún)優(yōu)化，并提供高可擴(kuò)展性、數(shù)據(jù)安全性保障;本研究提出海量小文件的寫(xiě)吞吐優(yōu)化機(jī)制以及算法，對(duì)小文件寫(xiě)瓶頸進(jìn)行理論分析與建模，設(shè)計(jì)小文件寫(xiě)優(yōu)化策略;提出海量小文件在HDFS中的文件讀取性能優(yōu)化機(jī)制;
　　(2)一種空間有效的

7、鍵值數(shù)據(jù)檢索系統(tǒng)。本研究建立一個(gè)基于Radix Tree的鍵值數(shù)據(jù)檢索系統(tǒng)RadixKV，為分布式文件系統(tǒng)中的海量?jī)?nèi)容提供基于關(guān)鍵詞的快速數(shù)據(jù)檢索服務(wù);本研究分析了Radix Tree的優(yōu)勢(shì)與不足，對(duì)Radix Tree的在線更新性能進(jìn)行分析，并設(shè)計(jì)了一種自適應(yīng)并行索引更新策略;提出了一種空間開(kāi)銷(xiāo)優(yōu)化的Radix Tree表達(dá)方式—Radix Array，設(shè)計(jì)了Radix Array的數(shù)據(jù)結(jié)構(gòu)，并分析了Radix Array的空間開(kāi)銷(xiāo)。

8、
　　(3)面向概率型數(shù)據(jù)的數(shù)據(jù)立方體系統(tǒng)。分析物聯(lián)網(wǎng)大數(shù)據(jù)中的“不確定性”特點(diǎn)，并有針對(duì)性地設(shè)計(jì)面向概率數(shù)據(jù)的數(shù)據(jù)立方體系統(tǒng)ProbabilisticCube，提供面向概率型數(shù)據(jù)的快速聚集查詢(xún)服務(wù);定義物聯(lián)網(wǎng)大數(shù)據(jù)中的概率數(shù)據(jù)模型，并基于概率數(shù)據(jù)模型定義、設(shè)計(jì)概率數(shù)據(jù)立方體;設(shè)計(jì)高性能的概率數(shù)據(jù)聚集操作;設(shè)計(jì)基于物化代價(jià)估計(jì)模型的數(shù)據(jù)立方體物化實(shí)現(xiàn)策略;設(shè)計(jì)面向概率數(shù)據(jù)的切片查詢(xún)和切塊查詢(xún)。
　　(4)能耗有效的任務(wù)調(diào)度框

9、架。建立一個(gè)基于Hadoop YARN擴(kuò)展的分布式任務(wù)調(diào)度框架Green Yarn，新的分布式任務(wù)調(diào)度框架對(duì)物聯(lián)網(wǎng)的流任務(wù)進(jìn)行合理調(diào)度，在不損失性能的前提下，結(jié)合服務(wù)器動(dòng)態(tài)電壓調(diào)整的特性(DVFS)，對(duì)任務(wù)和服務(wù)器進(jìn)行合理匹配;我們?cè)O(shè)計(jì)基于任務(wù)的能耗有效性模型，并設(shè)計(jì)分別面向離線批處理任務(wù)和在線任務(wù)的任務(wù)調(diào)度算法。
　　通過(guò)本文系統(tǒng)研究，有望建立一個(gè)面向物聯(lián)網(wǎng)大數(shù)據(jù)的新型存儲(chǔ)架構(gòu)，對(duì)文件系統(tǒng)、大數(shù)據(jù)檢索與分析提出創(chuàng)新的優(yōu)化設(shè)計(jì)，解