車載環(huán)境下基于異構(gòu)Hadoop的云端存儲(chǔ)技術(shù)研究.pdf

1、車聯(lián)網(wǎng)正日益深入到生活，為我們提供各種各樣的服務(wù)。龐大的車聯(lián)網(wǎng)系統(tǒng)會(huì)產(chǎn)生海量數(shù)據(jù)，因此車聯(lián)網(wǎng)的云計(jì)算平臺(tái)就成為車聯(lián)網(wǎng)信息化的關(guān)鍵。一直以來(lái)Hadoop在云計(jì)算領(lǐng)域的表現(xiàn)突出，尤其是具有低成本和高效率的特性，其市場(chǎng)認(rèn)可度越來(lái)越高。Hadoop集群的硬件環(huán)境在部署之初一般都是同構(gòu)的，但是隨著對(duì)集群硬件不斷的擴(kuò)展、升級(jí)和改造，原來(lái)針對(duì)同構(gòu)硬件環(huán)境的存儲(chǔ)方案已難以滿足當(dāng)前異構(gòu)集群的需求。針對(duì)該問(wèn)題，本文研究了一種基于數(shù)據(jù)溫度和節(jié)點(diǎn)性能來(lái)改善異構(gòu)

2、Hadoop集群讀寫性能的方案，主要工作如下：
　　首先，為了更準(zhǔn)確地獲取特定Hadoop應(yīng)用場(chǎng)景下的集群節(jié)點(diǎn)性能，本文研究了一種基于多元線性回歸模型（Multivariable Linear Regression Model, MLRM）的節(jié)點(diǎn)性能計(jì)算方法。該方法首先利用基準(zhǔn)性能測(cè)量工具獲取節(jié)點(diǎn)的磁盤讀寫速率、內(nèi)存的隨機(jī)訪問(wèn)存取速率以及CPU的運(yùn)算速率，其次建立節(jié)點(diǎn)性能和三個(gè)參數(shù)之間的線性回歸模型來(lái)計(jì)算各節(jié)點(diǎn)的性能?；?Had

3、oop的實(shí)驗(yàn)分析表明，本文所提出的模型計(jì)算的節(jié)點(diǎn)性能值與實(shí)驗(yàn)所得節(jié)點(diǎn)性能值相吻合，驗(yàn)證了前述模型的可行性。
　　其次，針對(duì)異構(gòu)Hadoop集群存儲(chǔ)性能下降的問(wèn)題，本文研究了一種基于節(jié)點(diǎn)性能和數(shù)據(jù)溫度的存儲(chǔ)方法。該方法在Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System, HDFS）異構(gòu)存儲(chǔ)方案基礎(chǔ)上，考慮了同類型存儲(chǔ)介質(zhì)節(jié)點(diǎn)之間的性能差異，通過(guò)建立數(shù)據(jù)溫度和存儲(chǔ)策略之間的映射關(guān)系，將訪問(wèn)頻度高