網(wǎng)易視頻云kudu-支持快速分析的新型hadoop存儲系統(tǒng)

1、vcloud.網(wǎng)易視頻云：Kudu，支持快速分析的新型Hadoop存儲系統(tǒng)網(wǎng)易視頻云是網(wǎng)易傾力打造的一款基于云計(jì)算的分布式多媒體處理集群和專業(yè)音視頻技術(shù)，為客戶提供穩(wěn)定流暢、低時延、高并發(fā)的視頻直播、錄制、存儲、轉(zhuǎn)碼及點(diǎn)播等音視頻的PaaS服務(wù)。在線教育、遠(yuǎn)程醫(yī)療、娛樂秀場、在線金融等各行業(yè)及企業(yè)用戶只需經(jīng)過簡單的開發(fā)即可打造在在線音視頻平臺。Kudu是Cloudera開源的新型列式存儲系統(tǒng)，是ApacheHadoop生態(tài)圈的新成員之一

2、（incubating），專門為了對快速變化的數(shù)據(jù)進(jìn)行快速的分析，填補(bǔ)了以往Hadoop存儲層的空缺。本文主要對Kudu的動機(jī)、背景，以及架構(gòu)進(jìn)行簡單介紹。背景——功能上的空白Hadoop生態(tài)系統(tǒng)有很多組件，每一個組件有不同的功能。在現(xiàn)實(shí)場景中，用戶往往需要同時部署很多Hadoop工具來解決同一個問題，這種架構(gòu)稱為混合架構(gòu)(hybridarchitecture)。比如，用戶需要利用Hbase的快速插入、快讀romaccess的特性來導(dǎo)入

3、數(shù)據(jù)，HBase也允許用戶對數(shù)據(jù)進(jìn)行修改，HBase對于大量小規(guī)模查詢也非常迅速。同時，用戶使用HDFSParquetImpalaHive來對超大的數(shù)據(jù)集進(jìn)行查詢分析，對于這類場景，Parquet這種列式存儲文件格式具有極大的優(yōu)勢。vcloud.這時候，用戶就希望能夠有一種優(yōu)雅的存儲解決方案，來應(yīng)付不同類型的工作流，并保持高性能的計(jì)算能力。Cloudera很早就意識到這個問題，在2012年就開始計(jì)劃開發(fā)Kudu這個存儲系統(tǒng)，終于在201

4、5年發(fā)布并開源出來。Kudu是對HDFS和HBase功能上的補(bǔ)充，能提供快速的分析和實(shí)時計(jì)算能力，并且充分利用CPU和IO資源，支持?jǐn)?shù)據(jù)原地修改，支持簡單的、可擴(kuò)展的數(shù)據(jù)模型。背景——新的硬件設(shè)備RAM的技術(shù)發(fā)展非常快，它變得越來越便宜，容量也越來越大。Cloudera的客戶數(shù)據(jù)顯示，他們的客戶所部署的服務(wù)器，2012年每個節(jié)點(diǎn)僅有32GBRAM，現(xiàn)如今增長到每個節(jié)點(diǎn)有128GB或256GBRAM。存儲設(shè)備上更新也非常快，在很多普通服務(wù)

5、器中部署SSD也是屢見不鮮。HBase、HDFS、以及其他的Hadoop工具都在不斷自我完善，從而適應(yīng)硬件上的升級換代。然而，從根本上，HDFS基于03年GFS，HBase基于05年BigTable，在當(dāng)時系統(tǒng)瓶頸主要取決于底層磁盤速度。當(dāng)磁盤速度較慢時，CPU利用率不足的根本原因是磁盤速度導(dǎo)致的瓶頸，當(dāng)磁盤速度提高了之后，CPU利用率提高，這時候CPU往往成為系統(tǒng)的瓶頸。HBase、HDFS由于年代久遠(yuǎn)，已經(jīng)很難從基本架構(gòu)上進(jìn)行修改，