大數(shù)據(jù)職業(yè)發(fā)展方向

1、大數(shù)據(jù)職業(yè)發(fā)展方向大數(shù)據(jù)職業(yè)發(fā)展方向一、大數(shù)據(jù)的概念及特點(diǎn)：大數(shù)據(jù)本身就是一個(gè)很抽象的概念，提及大數(shù)據(jù)很多人也只能從數(shù)據(jù)量上去感知大數(shù)據(jù)的規(guī)模，大數(shù)據(jù)被定義為“代表著人類(lèi)認(rèn)知過(guò)程的進(jìn)步，數(shù)據(jù)集的規(guī)模是無(wú)法在可容忍的時(shí)間內(nèi)用目前的技術(shù)、方法和理論去獲取、管理、處理的數(shù)據(jù)。大數(shù)據(jù)不是一種新技術(shù)，也不是一種新產(chǎn)品，而是一種新現(xiàn)象，是近來(lái)研究的一個(gè)技術(shù)熱點(diǎn)。大數(shù)據(jù)具有以下4個(gè)特點(diǎn)，即4個(gè)“V”：(1)數(shù)據(jù)體量(Volumes)巨大。大型數(shù)據(jù)集，

2、從TB級(jí)別，躍升到PB級(jí)別。(2)數(shù)據(jù)類(lèi)別(Variety)繁多。數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類(lèi)和格式?jīng)_破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。(3)價(jià)值(Value)密度低。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅一兩秒鐘。(4)處理速度(Velocity)快。包含大量在線或?qū)崟r(shí)數(shù)據(jù)分析處理的需求，1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機(jī)、平板

3、電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。二、大數(shù)據(jù)處理流程：從大數(shù)據(jù)的特征和產(chǎn)生領(lǐng)域來(lái)看，大數(shù)據(jù)的來(lái)源相當(dāng)廣泛，由此產(chǎn)生的數(shù)據(jù)類(lèi)型和應(yīng)用處理方法千差萬(wàn)別。但是總的來(lái)說(shuō)，大數(shù)據(jù)的基本處理流程大都是一致的。整個(gè)處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，最后是數(shù)據(jù)挖掘。三、大數(shù)據(jù)分解結(jié)構(gòu)：第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。我會(huì)從大數(shù)據(jù)的特征定義理解行

4、業(yè)對(duì)大數(shù)據(jù)的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解析大數(shù)據(jù)的珍貴所在；從對(duì)大數(shù)據(jù)的現(xiàn)在和未來(lái)去洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)隱私這個(gè)特別而重要的視角審視人和數(shù)據(jù)之間的長(zhǎng)久博弈。第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。我將分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。第三層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的最終價(jià)值體現(xiàn)。。2、分布式處理技術(shù)：——分布式處理系統(tǒng)可以將不

5、同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái)，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)這就是分布式處理系統(tǒng)的定義。目前最常用的是Hadoop技術(shù)，Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop用到的一些技術(shù)有：HDFS:Hadoop分布式文件系統(tǒng)（DistributedFileSystem）HDFS（Had

6、oopDistributedFileSystem）MapReduce:并行計(jì)算框架HBase:類(lèi)似GoogleBigTable的分布式NoSQL列數(shù)據(jù)庫(kù)。Hive:數(shù)據(jù)倉(cāng)庫(kù)工具。Zookeeper:分布式鎖設(shè)施，提供類(lèi)似GoogleChubby的功能。Avro:新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。Pig:大數(shù)據(jù)分析平臺(tái)，為用戶提供多種接口。Ambari:Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集

7、群。Sqoop:用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。3、存儲(chǔ)技術(shù)——大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲(chǔ)的目的是支撐大數(shù)據(jù)分析。4、感知技術(shù)——大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。以傳感器技術(shù)，指紋識(shí)別技術(shù)，RFID技術(shù)，坐標(biāo)定位技術(shù)等為基礎(chǔ)的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。五、大數(shù)據(jù)人才方向：目前，大數(shù)據(jù)方面主要有五大人才方向：※大數(shù)據(jù)核心研發(fā)方向（系統(tǒng)研發(fā)）；※大數(shù)據(jù)性能調(diào)優(yōu)