大數(shù)據(jù)技術(shù)原理及應(yīng)用

1、大數(shù)據(jù)技術(shù)原理及應(yīng)用 大數(shù)據(jù)技術(shù)原理及應(yīng)用大數(shù)據(jù)處理架構(gòu)— 大數(shù)據(jù)處理架構(gòu)—Hadoop Hadoop 簡介 簡介Hadoop 項(xiàng)目包括了很多子項(xiàng)目，結(jié)構(gòu)如下圖? Common Common原名：Core，包含 HDFS, MapReduce 和其他公共項(xiàng)目，從 Hadoop 0.21 版本后，HDFS 和MapReduce 分離出去，其余部分內(nèi)容構(gòu)成 Hadoop Common。Common 為其他子項(xiàng)目提供支持的常用工具，主要包括文

2、件系統(tǒng)、RPC(Remote procedure call) 和串行化庫。? Avro AvroAvro 是用于數(shù)據(jù)序列化的系統(tǒng)。它提供了豐富的數(shù)據(jù)結(jié)構(gòu)類型、快速可壓縮的二進(jìn)制數(shù)據(jù)格式、 存儲(chǔ)持久性數(shù)據(jù)的文件集、 遠(yuǎn)程調(diào)用 RPC 的功能和簡單的動(dòng)態(tài)語言集成功能。 其中，代碼生成器既不需要讀寫文件數(shù)據(jù)，也不需要使用或?qū)崿F(xiàn) RPC 協(xié)議，它只是一個(gè)可選的對(duì)靜態(tài)類型語言的實(shí)現(xiàn)。 Avro 系統(tǒng)依賴于模式 （Schema） ，Avro 數(shù)據(jù)的

3、讀和寫是在模式之下完成的。這樣就可以減少寫入數(shù)據(jù)的開銷，提高序列化的速度并縮減其大小。Avro 可以將數(shù)據(jù)結(jié)構(gòu)或?qū)ο筠D(zhuǎn)化成便于存儲(chǔ)和傳輸?shù)母袷剑?jié)約數(shù)據(jù)存儲(chǔ)空間和網(wǎng)絡(luò)傳輸帶寬，Hadoop 的其他子項(xiàng)目（如 HBase 和 Hive）的客戶端和服務(wù)端之間的數(shù)據(jù)傳輸。? HDFS HDFSHDFS：是一個(gè)分布式文件系統(tǒng)，為 Hadoop 項(xiàng)目兩大核心之一，是 Google file system（GFS）的開源實(shí)現(xiàn)。由于 HDFS 具有高

4、容錯(cuò)性（fault-tolerant）的特點(diǎn)，所以可以設(shè)計(jì)部署在低廉（low-cost） 的硬件上。 它可以通過提供高吞吐率 （high throughput） 來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS 放寬了可移植操作系統(tǒng)接口（POSIX，PortableOperating System Interface ）的要求，這樣就可以實(shí)現(xiàn)以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。了靈活且強(qiáng)大的工具，用于顯示、監(jiān)視和分析數(shù)據(jù)結(jié)果

5、，以便更好地利用所收集的數(shù)據(jù)。大數(shù)據(jù)存儲(chǔ) 大數(shù)據(jù)存儲(chǔ)存儲(chǔ)的講解分為四部分：HDFS, HBase, NoSQL 和云數(shù)據(jù)庫HDFS HDFS分布式文件系統(tǒng)簡介 分布式文件系統(tǒng)簡介相對(duì)于傳統(tǒng)的本地文件系統(tǒng)而言， 分布式文件系統(tǒng)是一種通過網(wǎng)絡(luò)實(shí)現(xiàn)文件在多臺(tái)計(jì)算機(jī)上進(jìn)行分布式存儲(chǔ)的文件系統(tǒng)。分布式文件系統(tǒng)的設(shè)計(jì)一般采用“客戶機(jī) /服務(wù)器”（client/server）模式，客戶端以特定的通信協(xié)議通過網(wǎng)絡(luò)與服務(wù)器建立連接，提出文件訪問請(qǐng)求，客戶

6、端和服務(wù)器可以通過設(shè)置訪問權(quán)來限制請(qǐng)求方對(duì)底層數(shù)據(jù)存儲(chǔ)快的訪問。在我們所熟悉的 Windows、 Linux 操作系統(tǒng)中， 文件系統(tǒng)一般會(huì)把磁盤空間劃分為每 512字節(jié)一組，稱為“磁盤塊” ，它是文件系統(tǒng)讀寫操作的最小單位，文件系統(tǒng)的塊（ block）通常是磁盤塊的整數(shù)倍，即每次讀寫的數(shù)據(jù)量必須是磁盤塊大小的整數(shù)倍。分布式文件系統(tǒng)也采用了塊的概念，HDFS 默認(rèn)的一個(gè)塊的大小為 64MB。與普通文件不同的是， 在分布式文件系統(tǒng)中， 如果