大數(shù)據(jù)的發(fā)展和應用

1、大數(shù)據(jù)的發(fā)展和應用 大數(shù)據(jù)的發(fā)展和應用摘要 摘要：大數(shù)據(jù)具有規(guī)模大、種類多、生成速度快、價值巨大但密度 低的特點。隨著互聯(lián)網(wǎng)的壯大以及云計算等技術(shù)的發(fā)展促進了移動 云終端的進步。大數(shù)據(jù)正成為時下越來越人們的領(lǐng)域。在前幾十年 就有很多學者語言到了它的到來，它正在成為一種不可避免的趨勢。 它將給我們的生活等各個方面帶來前所未有的改變，但是在此之前 也有一些問題需要我們?nèi)ソ鉀Q。關(guān)鍵詞 關(guān)鍵詞：大數(shù)據(jù)、云計算、數(shù)據(jù)、分析、移動終端、挑戰(zhàn)正如我們

2、過去大量生產(chǎn)汽車一樣，人類正被信息淹沒，卻渴望知識。 早在 1982 年世界預測大師、未來學家約翰奈斯比特就提到我們現(xiàn)在 大量生產(chǎn)信息，而在 2012 年 3 月 22 日，奧巴馬宣布美國政府投資 2 億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”。這是繼 1993 年美國宣布 “信息高速公路”計劃后的有一次重大科技發(fā)展部署。美國政府認 為大數(shù)據(jù)是“未來的新石油”，并將對大數(shù)據(jù)的研究上升為國家意 志。Internet 的出現(xiàn)縮短了人與人、人與世界之

3、間的距離，整個世 界練成一個“地球村”，人們通過網(wǎng)絡無障礙交流、交換信息和協(xié) 同工作。與此同時，借助 Internet 的告訴發(fā)展、數(shù)據(jù)庫技術(shù)的成熟 和普及、高內(nèi)存高性能的存儲設備和存儲介質(zhì)的出現(xiàn)，人類在日常 學習、生活、工作中產(chǎn)生的數(shù)據(jù)量正以指數(shù)形式增長，呈現(xiàn)爆炸狀 態(tài)。1 簡介 簡介在過去的 20 年里，各個領(lǐng)域都出現(xiàn)了大規(guī)模的數(shù)據(jù)增長，包括醫(yī)療保健和科學傳感器、用戶生成數(shù)據(jù)、互聯(lián)網(wǎng)和金融公司、供應 鏈系統(tǒng)等，與此同時，數(shù)據(jù)也成為一

4、種新的自然資源，亟待我們對 其加以合理、高效、充分的利用，使它能夠給人們的生活工作帶來 更大的效益和價值。在這種背景下，數(shù)據(jù)的數(shù)量不僅以指數(shù)形式遞 增，而且數(shù)據(jù)的結(jié)構(gòu)越來越趨于復雜化，這就賦予了大數(shù)據(jù)不同于 以往普通數(shù)據(jù)更加深層的內(nèi)涵。據(jù)著名咨詢公司 IDC 的統(tǒng)計，2011 年全球被創(chuàng)建和復制的數(shù)據(jù)總量為 1.8ZB，其中 75%來自于個人（主 要是圖片、視頻和音樂），遠遠超過人類有史以來所有印刷材料的 數(shù)據(jù)總量。Google 公司通

5、過大規(guī)模集群和 MapReduce 軟件，每月 處理的數(shù)據(jù)量超過 400PB；百度每天大約要處理幾十 PB 數(shù)據(jù)； Facebook 注冊用戶超過 10 億，每月上傳的照片超過 10 億張，每 天生成 300TB 以上的日志數(shù)據(jù)；淘寶網(wǎng)會員超過 3.7 億，在線商品 超過 8.8 億，每天交易數(shù)千萬筆，產(chǎn)生約 20TB 數(shù)據(jù)。與傳統(tǒng)的數(shù)繁多的數(shù)據(jù)間發(fā)現(xiàn)其內(nèi)在關(guān)聯(lián)，在互聯(lián)網(wǎng)時代，各種設備連成一個 整體。Velocity 即更快地滿足實時性

6、需求。Value 是其中最重要的 一點，即指大數(shù)據(jù)的價值密度低，因為數(shù)據(jù)量巨大，所以真正有價 值的東西就顯得越少。2 國內(nèi)外現(xiàn)狀 國內(nèi)外現(xiàn)狀國外的現(xiàn)狀：早在 2009 年, 聯(lián)合國就啟動了 “全球脈動計劃”, 擬通過大數(shù)據(jù)推動落后地區(qū)的發(fā)展, 而 2012 年 1 月的世界經(jīng)濟論壇年會也 把“大數(shù)據(jù), 大影響” 作為重要議題之一。在美國, 2009 年至今,Data.gov(美國政府數(shù)據(jù)庫) 全面開放了 40 萬政府原始數(shù)據(jù)集, 大 數(shù)

7、據(jù)已成為美國國家創(chuàng)新戰(zhàn)略、國家安全戰(zhàn)略以及國家信息網(wǎng)絡安 全戰(zhàn)略的交叉領(lǐng)域和核心領(lǐng)域. 2012 年 3 月, 美國政府提出 “大 數(shù)據(jù)研究和發(fā)展倡議”, 發(fā)起全球開放政府數(shù)據(jù)運動, 并投資 2 億 美元促進大數(shù)據(jù)核心技術(shù)研究和應用, 涉及 NSF,DARPA 等 6 個政 府部門和機構(gòu), 把大數(shù)據(jù)放在重要的戰(zhàn)略位置。 英國政府也將大數(shù) 據(jù)作為重點發(fā)展的科技領(lǐng)域, 在發(fā)展 8 類高新技術(shù)的 6 億英鎊投 資中, 大數(shù)據(jù)的注資占三成。 2

8、014 年 7 月, 歐盟委員會也呼吁各 成員國積極發(fā)展大數(shù)據(jù), 迎接 大數(shù)據(jù) 時代, 并將采取具體措施發(fā) 展大數(shù)據(jù)業(yè)務。例如建立大數(shù)據(jù)領(lǐng)域的公私合作關(guān)系，依托 “地平線 2020” 科研規(guī)劃, 創(chuàng)建開放式數(shù)據(jù)孵化器; 成立多個超級計算 中心，在成員國創(chuàng)建數(shù)據(jù)處理設施網(wǎng)絡。在學術(shù)界, 美國麻省理工大學計算機科學與人工智能實驗室建立了大數(shù)據(jù)科學技術(shù)中心 (ISTC). ISTC 主要致力于加速科學與醫(yī) 藥發(fā)明、企業(yè)與行業(yè)計算, 并著重推動

9、在新的數(shù)據(jù)密集型應用領(lǐng)域 的最終用戶體驗的設計創(chuàng)新。 大數(shù)據(jù) ISTC 由 MIT 作為中心學校，研究專家們來自 MIT、加州大學圣巴巴拉分校、波特蘭州立大學、 布朗大學、華盛頓大學和斯坦福大學等 6 所大學. 通過明確和資助 領(lǐng)域帶頭人，提供合作研究中心的方式，目標是發(fā)掘共享、存儲和操作大數(shù)據(jù)的解決方案, 涉及 Intel, Microsoft, EMC 等多家國際 產(chǎn)業(yè)巨頭。 同時, 英國牛津大學成立了首個綜合運用大數(shù)據(jù)的醫(yī)藥 衛(wèi)生