大數(shù)據(jù)心得體會(huì)

1、大數(shù)據(jù)心得體會(huì)早在2007年，人類(lèi)制造的信息量有史以來(lái)第一次在理論上超過(guò)可用存儲(chǔ)空間總量，近幾年兩者的剪刀差越來(lái)越大。2010年，全球數(shù)字規(guī)模首次達(dá)到了“ZB”（1ZB＝1024TB）級(jí)別。2012年，淘寶網(wǎng)每天在線商品數(shù)超過(guò)8億件。2013年底，中國(guó)手機(jī)網(wǎng)民超過(guò)6億戶(hù)。隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、傳感器、物聯(lián)網(wǎng)、社交網(wǎng)站、云計(jì)算等的興起，我們這個(gè)社會(huì)的幾乎所有方面都已數(shù)字化，產(chǎn)生了大量新型、實(shí)時(shí)的數(shù)據(jù)。無(wú)疑，我們已身處在大數(shù)據(jù)的海洋。有兩

2、個(gè)重要的趨勢(shì)使得目前的這個(gè)時(shí)代（大數(shù)據(jù)時(shí)代）與之前有顯著的差別：其一，社會(huì)生活的廣泛數(shù)字化，其產(chǎn)生數(shù)據(jù)的規(guī)模、復(fù)雜性及速度都已遠(yuǎn)遠(yuǎn)超過(guò)此前的任何時(shí)代；其二，人類(lèi)的數(shù)據(jù)分析技術(shù)和工藝使得各機(jī)構(gòu)、組織和企業(yè)能夠以從前無(wú)法達(dá)到的復(fù)雜度、速度和精準(zhǔn)度從龐雜的數(shù)據(jù)中獲得史無(wú)前例的洞察力和預(yù)見(jiàn)性。大數(shù)據(jù)是技術(shù)進(jìn)步的產(chǎn)物，而其中的關(guān)鍵是云技術(shù)的進(jìn)步。在云技術(shù)中，虛擬化技術(shù)乃最基本、最核心的組成部份。計(jì)算虛擬化、存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化技術(shù)，使得大數(shù)據(jù)在

3、數(shù)據(jù)存儲(chǔ)、挖掘、分析和應(yīng)用分享等方面不僅在技術(shù)上可行，在經(jīng)濟(jì)上也可接受。在人類(lèi)文明史上，人類(lèi)一直執(zhí)著探索我們處的世界以及人類(lèi)自身，一直試圖測(cè)量、計(jì)量這個(gè)世界以及人類(lèi)自身，試圖找到隱藏其中的深刻關(guān)聯(lián)、運(yùn)行規(guī)律及終極答案。大數(shù)據(jù)以其人類(lèi)史上從未有過(guò)的龐大容量、極大的復(fù)雜性、快速的生產(chǎn)及經(jīng)濟(jì)可得性，使人類(lèi)第一次試圖從總體而非樣本，從混雜性而非精確性，從相關(guān)關(guān)系而非因果關(guān)系來(lái)測(cè)量、計(jì)量我們這個(gè)世界。人類(lèi)的思維方式、行為方式及社會(huì)生活的諸多形態(tài)（

4、當(dāng)然包括商業(yè)活動(dòng)）正在開(kāi)始發(fā)生新的變化?；蛟S是一場(chǎng)革命性、顛覆性的變化。從這個(gè)意義上講，大數(shù)據(jù)不僅是一場(chǎng)技術(shù)運(yùn)動(dòng)，更是一次哲學(xué)創(chuàng)新。1大數(shù)據(jù)的概述大數(shù)據(jù)的概述1.11.1大數(shù)據(jù)的概念大數(shù)據(jù)的概念大數(shù)據(jù)（BigData）是指那些超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉(zhuǎn)輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫(kù)系統(tǒng)。為了獲取大數(shù)據(jù)中的價(jià)值，我們必須選擇另一種方式來(lái)處理它。存儲(chǔ)與內(nèi)存的消長(zhǎng)，大數(shù)據(jù)第一個(gè)要解決把數(shù)據(jù)存儲(chǔ)下來(lái)，后來(lái)發(fā)

5、現(xiàn)要把它放到大的內(nèi)存里進(jìn)行處理，獲得實(shí)時(shí)性，接著在存儲(chǔ)和內(nèi)存之間現(xiàn)在又出現(xiàn)了閃存，有閃存化甚至全閃存的存儲(chǔ)，也有閃存化的內(nèi)存，把所有的計(jì)算在閃存里面處理，已經(jīng)被微軟、Facebook等等大量使用。大家可以預(yù)期，兩年以后出現(xiàn)新的非易失性的閃存，它的速度可能要比閃存快幾百倍，和內(nèi)存相似，這又會(huì)極大地顛覆數(shù)據(jù)與機(jī)器的關(guān)系。第二層關(guān)系第二層關(guān)系：數(shù)據(jù)與人的關(guān)系。主要是價(jià)值的覺(jué)醒，如果數(shù)據(jù)不能產(chǎn)生價(jià)值它可能是負(fù)面資產(chǎn)。數(shù)據(jù)怎么能夠給人帶來(lái)價(jià)值？我

6、們介紹一下它的價(jià)值維度，把它映射到二維的時(shí)空象限里，用六個(gè)關(guān)鍵詞來(lái)描述它。第一是“Volume”，兩個(gè)關(guān)鍵詞，小數(shù)據(jù)見(jiàn)微對(duì)個(gè)人進(jìn)行刻劃，大數(shù)據(jù)知著能夠了解宏觀規(guī)律，它是空間概念，同時(shí)也是時(shí)間概念，數(shù)據(jù)剛剛產(chǎn)生的時(shí)候，它的個(gè)性化價(jià)值、見(jiàn)微的價(jià)值最大，而隨著時(shí)間的推移，它漸漸退化到只有集合價(jià)值。第二是Velocity，時(shí)間軸的原點(diǎn)是當(dāng)下實(shí)時(shí)價(jià)值，副軸是過(guò)往，正軸是預(yù)測(cè)未來(lái)，如果知道知前后就能夠做到萬(wàn)物的皆明。第三是Variety，多源異質(zhì)的

7、數(shù)據(jù)，能夠過(guò)濾噪聲、查漏補(bǔ)缺、去偽存真，就是辯訛。還有曉意，能夠從大量的非結(jié)構(gòu)化數(shù)據(jù)中獲得語(yǔ)意，從而能夠使機(jī)器窺探人的思維境界，這六個(gè)價(jià)值維度怎么去實(shí)現(xiàn)？主要是兩部分人，一是數(shù)據(jù)科學(xué)家要洞察數(shù)據(jù)，另外一個(gè)是終端用戶(hù)和領(lǐng)域?qū)＜乙ソ庾x數(shù)據(jù)并利用數(shù)據(jù)。首先看洞察數(shù)據(jù)，數(shù)據(jù)科學(xué)，人和機(jī)器作用發(fā)生了消長(zhǎng)，講個(gè)例子，機(jī)器學(xué)習(xí)大家覺(jué)得是機(jī)器的問(wèn)題，其實(shí)人在里面起到很重要的作用，尤其是機(jī)器學(xué)習(xí)是模型加特征，而特征工程是一個(gè)人力工程，你要有經(jīng)驗(yàn)非常豐富

8、的特征團(tuán)隊(duì)去死磕特征，找出更好、更多的特征，才能夠使機(jī)器學(xué)習(xí)的效果更好。但是現(xiàn)在深度學(xué)習(xí)這些新技術(shù)出來(lái)，能夠用機(jī)器學(xué)習(xí)特征，能夠在大量非結(jié)構(gòu)化數(shù)據(jù)中找到豐富的信息維度用特征表達(dá)出來(lái)，這遠(yuǎn)遠(yuǎn)超出了人的能力。大家知道黑客帝國(guó)描述了一個(gè)場(chǎng)景，人腦袋后面插一個(gè)插頭，給機(jī)器提供營(yíng)養(yǎng)，我可能不會(huì)那么悲觀，但是像這樣的互動(dòng)關(guān)系以一種更良性的方式出現(xiàn)了，現(xiàn)在人的一言一行、社交行為、金融行為都已經(jīng)成為機(jī)器的養(yǎng)料、機(jī)器的數(shù)據(jù)，使得機(jī)器獲得更好的洞察。終端用