大數(shù)據(jù)技術與應用基礎-教學大綱

1、0《大數(shù)據(jù)技術與應用基礎大數(shù)據(jù)技術與應用基礎》教學大綱教學大綱學時：時：60代碼：碼：適用專業(yè)：適用專業(yè)：制定：定：審核：核：批準：準：一、課程的地位、性質和任務一、課程的地位、性質和任務大數(shù)據(jù)技術的發(fā)展，已被列為國家重大發(fā)展戰(zhàn)略。而在過去的幾年里，無論是聚焦大數(shù)據(jù)發(fā)展的《促進大數(shù)據(jù)發(fā)展行動綱要》，還是《“十三五”規(guī)劃》中都深刻體現(xiàn)了政府對大數(shù)據(jù)產(chǎn)業(yè)和應用發(fā)展的重視。目前國內大數(shù)據(jù)發(fā)展還處于加速期、轉型期，數(shù)據(jù)與傳統(tǒng)產(chǎn)業(yè)的融合還處于起步

2、階段，各行業(yè)對大數(shù)據(jù)分析和挖掘的應用還不理想。但隨著市場競爭的加劇，各行業(yè)對大數(shù)據(jù)技術研究的熱情越來越高，在未來幾年，各領域的數(shù)據(jù)分析都將大規(guī)模應用。本課程在注重大數(shù)據(jù)時代應用環(huán)境前提下，考慮大數(shù)據(jù)處理分析需求多樣復雜的基本情況，從初學者角度出發(fā)，以輕量級理論、豐富的實例對比性地介紹大數(shù)據(jù)常用計算模式的各種系統(tǒng)和工具。考慮到當前大數(shù)據(jù)發(fā)展處于起步并逐步趕超先進的階段，其應用領域豐富廣泛，在教學過程中應注重掌握大數(shù)據(jù)分析的實踐操作。本課程

3、通過豐富簡單易上手的實例，讓學生能夠切實體會和掌握各種類型工具的特點和應用。二、課程教學基本要求二、課程教學基本要求1.了解大數(shù)據(jù)的發(fā)展和基本概念，理解并掌握大數(shù)據(jù)的特征及主要技術層面。2.掌握Scrapy環(huán)境的搭建，了解網(wǎng)絡爬蟲獲取數(shù)據(jù)的過程，熟悉爬蟲項目的創(chuàng)建。3.深刻了解hadoop的基礎理論，理解并掌握Hadoop單機及集群環(huán)境的部署方法。4.掌握HDFS的基本概念和HDFS在hadoop中的作用，理解并識記HDFS的使用，了解

4、HDFS的JAVAAPI接口及數(shù)據(jù)流原理；讓學生明白Map過程與Reduce過程這兩個獨立部分各自的原理及合作途徑，知道如何獨立編寫滿足自己需求的MapReduce程序。5.理解HBase中涉及的基本概念，掌握HBase的簡單應用；讓學生了解數(shù)據(jù)倉庫的基礎概念，熟悉Hive與HDFS、MapReduce直接的關心。6.熟悉Spark和RDD的基本概念，熟悉spark接口的使用，解決實戰(zhàn)時的步驟及思路。7.明白Hadoop和Stm之間的差

5、別，掌握對Stm的使用。理解Apex的工作過程并能簡單應用。8.了解Druid的基本概念、應用場景以及集群架構，掌握批量數(shù)據(jù)加載、流數(shù)據(jù)加載的操作。了解Flink的重要概念和基本架構，掌握Flink簡單的使用實例。9.理解Elasticsearch的基本架構，掌握Elasticsearch的一些入門操作。了解并基本掌握怎樣利用所學的工具對目標實例進行數(shù)據(jù)分析。三、課程的內容三、課程的內容1大數(shù)據(jù)概述大數(shù)據(jù)概述21313分布式文件搜索分布

6、式文件搜索ElasticsearchElasticsearch了解Elasticsearch包含重要部分的基本概念，掌握Elasticsearch重要的安裝過程，掌握簡單的操作。1414實例電商數(shù)據(jù)分析實例電商數(shù)據(jù)分析能夠通過已經(jīng)學習了解過的環(huán)境和工具等，有條理有步驟的對實例進行數(shù)據(jù)挖掘、數(shù)據(jù)處理和數(shù)據(jù)分析等，進而得出相關的結論。四、課程的重點、難點四、課程的重點、難點1大數(shù)據(jù)概述大數(shù)據(jù)概述重點：大數(shù)據(jù)的概念和特征。難點：大數(shù)據(jù)的計算模

7、式和技術層面間的關聯(lián)。2數(shù)據(jù)獲取數(shù)據(jù)獲取重點：Scrapy環(huán)境的搭建。難點：網(wǎng)絡爬蟲獲取數(shù)據(jù)的過程。3HadoopHadoop基礎基礎重點：Hadoop的基礎理論及安裝。難點：Hadoop單機及集群環(huán)境的部署方法。4HDFSHDFS基本應用基本應用重點：掌握HDFS的兩種使用方法。5MapReduceMapReduce應用開發(fā)應用開發(fā)重點：明白Map過程與Reduce過程的原理。難點：獨立編寫滿足自己需求的MapReduce程序。6分布