大數(shù)據(jù)的應(yīng)用研究綜述

1、商丘師范學(xué)院2014屆本科畢業(yè)論文(設(shè)計)1大數(shù)據(jù)的應(yīng)用研究綜述引言當(dāng)云計算、物聯(lián)網(wǎng)對人們還是一個新的概念的時候，大數(shù)據(jù)出現(xiàn)了。大數(shù)據(jù)是云計算，事IT行業(yè)的顛覆性的革命的互聯(lián)網(wǎng)，企業(yè)的發(fā)展，政府治理模式，將產(chǎn)生巨大的影響和個人習(xí)慣。大數(shù)據(jù)的挖掘和應(yīng)用可創(chuàng)造出超出人們難以想象的價值，將是未來IT領(lǐng)域最大的市場利用之一可以稱的上又一次工業(yè)革命。本文對大數(shù)據(jù)的概念和它的應(yīng)用、研究領(lǐng)域作了簡單的介紹，還有它的現(xiàn)狀和所面臨的問題也作了簡述。1、大

2、數(shù)據(jù)的基本概念麥肯錫將大數(shù)據(jù)定義為：沒法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進(jìn)行提取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)是不是新的技術(shù)，也沒有新產(chǎn)品，但一個新的現(xiàn)象，是近年來研究的熱點(diǎn)。大數(shù)據(jù)具有以下4個特點(diǎn)即4個“V”：(1)數(shù)據(jù)量(Volumes)巨大。大型數(shù)據(jù)集，已從TB級別，躍升到PB級別。(2)數(shù)據(jù)類目(Variety)繁多。種數(shù)據(jù)源來源很多，數(shù)據(jù)種類和格式?jīng)_破了以往任何時候所限定的結(jié)構(gòu)化數(shù)據(jù)范圍，網(wǎng)羅了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

3、(3)價值(Value)密度低。在視頻為例，連續(xù)監(jiān)測屏幕，只有一個或兩秒鐘可能有用的資料(4)處理數(shù)據(jù)的速度(Velocity)快。包含大量在線或?qū)崟r數(shù)據(jù)分析處理的需求，1秒定律。2、大數(shù)據(jù)產(chǎn)生的源泉大數(shù)據(jù)主要來源于網(wǎng)絡(luò)世界與物理世界。1）網(wǎng)絡(luò)世界。大數(shù)據(jù)來自于人類社會，尤其是以互聯(lián)網(wǎng)的發(fā)展作為數(shù)據(jù)的存儲、傳輸與應(yīng)用創(chuàng)造了環(huán)境。在社交網(wǎng)絡(luò)服務(wù)的現(xiàn)象學(xué)的六個假設(shè)基于用戶的基礎(chǔ)上，根據(jù)朋友的朋友認(rèn)識，擴(kuò)大接觸，廣結(jié)人緣?；谏鐣W(wǎng)絡(luò)的w2.

4、0網(wǎng)站，對用戶信息的用戶，也是網(wǎng)站信息生產(chǎn)者。2）物理世界?？茖W(xué)實驗是科學(xué)和技術(shù)人員設(shè)計，數(shù)據(jù)采集，數(shù)據(jù)處理需要的設(shè)計數(shù)據(jù)，無論是檢索和模式識別科學(xué)規(guī)律可以發(fā)現(xiàn)。例如，希格斯粒子（也被稱為上帝粒子）的搜索，利用大型強(qiáng)子對撞機(jī)實驗中，應(yīng)至少有1000000000000例可確定一個希格斯粒子。這是一個典型的根據(jù)大數(shù)據(jù)而做的科學(xué)實驗。從這一實驗可以看出，科學(xué)實驗的大數(shù)據(jù)處理是整個實驗最核心的部分，可以預(yù)先估計出想要的結(jié)果。3、大數(shù)據(jù)的現(xiàn)狀及發(fā)

5、展趨勢3.1大數(shù)據(jù)的現(xiàn)狀從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系是無法分開的，大數(shù)據(jù)必然沒有辦法用一臺的計算機(jī)進(jìn)行處理，必須采用分布式計算架構(gòu)。商丘師范學(xué)院2014屆本科畢業(yè)論文(設(shè)計)3現(xiàn)有的大數(shù)據(jù)不夠大對于將來來說。在未來的高數(shù)據(jù)將得到更多的關(guān)注，研究，和數(shù)據(jù)的應(yīng)用程序的開發(fā)，未來將會有越來越多的，和挖掘和提取有價值的信息，也增加了困難。4、大數(shù)據(jù)帶來的機(jī)遇和挑戰(zhàn)大的數(shù)據(jù)將被破壞的數(shù)據(jù)倉庫的傳統(tǒng)的信息系統(tǒng)體系結(jié)構(gòu)為流程，連接和信息共享的數(shù)據(jù)

6、池。大數(shù)據(jù)技術(shù)使人們可以使用多種類型的數(shù)據(jù)，不能有效利用，在那些不注意抓住機(jī)遇，使組織更加高效和智能化。大數(shù)據(jù)技術(shù)也將推動新興信息安全技術(shù)與產(chǎn)品的形成。4.1大數(shù)據(jù)帶來的機(jī)遇1)大數(shù)據(jù)的挖掘和應(yīng)用成為核心，將從各個方面創(chuàng)造價值。企業(yè)商業(yè)模式的深刻影響是對數(shù)據(jù)中心過渡開采和應(yīng)用的數(shù)據(jù)存儲和傳輸。從海量數(shù)據(jù)中提取有用的信息是挖掘大量數(shù)據(jù)，并應(yīng)用到各個行業(yè)的大量數(shù)據(jù)中最重要的部分。2)大數(shù)據(jù)的安全越來越被重視，為信息安全的發(fā)展帶來機(jī)會。移動互

7、聯(lián)網(wǎng)，物聯(lián)網(wǎng)和其他新興IT技術(shù)，網(wǎng)絡(luò)已逐漸成為社會的主流，數(shù)據(jù)的價值，因為大數(shù)據(jù)的增加，所以普遍存在的數(shù)據(jù)信息安全提出了更高的要求。信息安全和云計算運(yùn)行通過產(chǎn)業(yè)鏈的各方面數(shù)據(jù)，云安全關(guān)鍵技術(shù)將更加安全的數(shù)據(jù)保護(hù)。大數(shù)據(jù)對信息安全的要求促進(jìn)將推動信息安全產(chǎn)業(yè)的大發(fā)展。3）提供了更大的空間，對于大數(shù)據(jù)時代發(fā)展為商業(yè)智能，信息安全和云計算。大數(shù)據(jù)產(chǎn)業(yè)鏈分為硬件、基礎(chǔ)軟件和應(yīng)用軟件三大領(lǐng)域是按產(chǎn)品形態(tài)劃分的，橫跨三大領(lǐng)域的是商業(yè)智能、信息安全和

8、云計算，這三駕馬車會在產(chǎn)業(yè)鏈中快速發(fā)展。4.2大數(shù)據(jù)帶來的挑戰(zhàn)大數(shù)據(jù)在帶來機(jī)遇的同時，也給人才、技術(shù)、信息安全等方面帶來了很大的挑戰(zhàn)。1)大數(shù)據(jù)的處理對專業(yè)化的技術(shù)和管理人才要求很高。并對復(fù)雜數(shù)據(jù)的大型數(shù)據(jù)集的工具和技術(shù)，包括統(tǒng)計，機(jī)器學(xué)習(xí)專業(yè)的分析需要的應(yīng)用程序設(shè)計，自然語言處理，建模和可視化技術(shù)，例如，標(biāo)簽云，集群，歷史，視頻信息流圖等。2)大數(shù)據(jù)的有效應(yīng)用是解決大容量、多種類和高效率數(shù)據(jù)處理的問題為基礎(chǔ)的。傳統(tǒng)數(shù)據(jù)庫的管理能力已經(jīng)

9、無法再應(yīng)付海量的數(shù)據(jù)，而且處理不了數(shù)TB級別的數(shù)據(jù)，也不能很好支持高級別的數(shù)據(jù)分析，大數(shù)據(jù)中因為有不同格式的數(shù)據(jù)所以需要復(fù)雜的處理方法。大數(shù)據(jù)的數(shù)據(jù)格式囊括半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)的多樣性和海量性決定了大數(shù)據(jù)技術(shù)的復(fù)雜性，限制和處理這些數(shù)據(jù)超出常規(guī)的數(shù)據(jù)的軟件工具，可以承受的。此外，高時效性的大型數(shù)據(jù)處理是必要的。由于社會和經(jīng)濟(jì)狀況，在日新月異的今天立于不敗之地，必須把握數(shù)據(jù)的及時性。5、大數(shù)據(jù)的關(guān)鍵技術(shù)毋庸置疑，世界上所有

10、研究大數(shù)據(jù)技術(shù)的人都意識到大數(shù)據(jù)對于未來發(fā)展的重要價值?？墒乾F(xiàn)實生活中出現(xiàn)許多的問題阻礙了大數(shù)據(jù)技術(shù)的發(fā)展和實際應(yīng)用。大數(shù)據(jù)的關(guān)鍵技術(shù)包括流處理、并行性、摘要索引和可視化。1）流處理隨著業(yè)務(wù)發(fā)展的需要，以及復(fù)雜的業(yè)務(wù)流程，我們越來越重視“數(shù)據(jù)流”而不是“數(shù)據(jù)集”。決策者最喜歡的是和自己的組織機(jī)構(gòu)的相關(guān)的東西，并馬上得到結(jié)果。他們希望能夠處理任何數(shù)據(jù)流結(jié)構(gòu)立即，但當(dāng)前的數(shù)據(jù)庫技術(shù)無法滿足這些決策者。若是你正在與一家供應(yīng)商洽商一個大數(shù)據(jù)項目