hadoop環(huán)境配置與實驗報告

1、 研究生課程考試成績單 （試卷封面） 院 系 計算機科學與工程 專業(yè) 計算機科學與技術 學生姓名 李富豪 學號 131440 課程名稱 計算機新技術綜合實踐 授課時間 2014 年 4 月 至 2014 年 6 月 周學時 1 學分 2 簡 要 評 語 （1） 小組答辯過程表述很清晰； （2） 實驗結果的演示表明搭建的系統(tǒng)以及編寫的程序很好地滿足功能要求； （3） 報告內容很好地符合要求。 考核論題 總評

2、成績 （含平時成績） 備注 任課教師簽名：日期： 2014.7 注：1. 以論文或大作業(yè)為考核方式的課程必須填此表，綜合考試可不填。 “簡要評語”欄缺填無效。 2. 任課教師填寫后與試卷一起送院系研究生秘書處。 3. 學位課總評成績以百分制計分。 hadoop 環(huán)境配置與試驗報告 3 1 集群部署介紹 1.1 Hadoop簡介 Hadoop 是 Apache 軟件基金會旗下的一個開源分布式計算平臺。以 Hado

3、op 分布式文件系統(tǒng)（HDFS，Hadoop Distributed Filesystem）和 MapReduce（Google MapReduce的開源實現(xiàn)）為核心的 Hadoop 為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎架構。 對于 Hadoop 的集群來講，可以分成兩大類角色：Master 和 Salve。一個 HDFS 集群是由一個 NameNode 和若干個 DataNode 組成的。其中 NameNode 作為主服務器，管理

4、文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作；集群中的 DataNode 管理存儲的數(shù)據。MapReduce 框架是由一個單獨運行在主節(jié)點上的 JobTracker 和運行在每個集群從節(jié)點的 TaskTracker 共同組成的。 主節(jié)點負責調度構成一個作業(yè)的所有任務，這些任務分布在不同的從節(jié)點上。主節(jié)點監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務；從節(jié)點僅負責由主節(jié)點指派的任務。當一個 Job 被提交時，JobTracker 接收到

5、提交作業(yè)和配置信息之后，就會將配置信息等分發(fā)給從節(jié)點，同時調度任務并監(jiān)控 TaskTracker 的執(zhí)行。 從上面的介紹可以看出，HDFS 和 MapReduce 共同組成了 Hadoop 分布式系統(tǒng)體系結構的核心。HDFS在集群上實現(xiàn)分布式文件系統(tǒng)，MapReduce 在集群上實現(xiàn)了分布式計算和任務處理。HDFS 在 MapReduce 任務處理過程中提供了文件操作和存儲等支持，MapReduce 在 HDFS 的基礎上實現(xiàn)了任務的分

6、發(fā)、跟蹤、執(zhí)行等工作，并收集結果，二者相互作用，完成了 Hadoop 分布式集群的主要任務。 1.2 環(huán)境說明 集群中包括 4 個節(jié)點：1 個 Master，3 個 Salve，節(jié)點之間局域網連接，可以相互 ping 通。節(jié)點 IP 地址分布如下： 機器名稱 機器名稱 IP 地址 地址 computer1（Master） 192.168.111.1 computer2（salve） 192.168.111.2 computer

7、3（salve） 192.168.111.3 computer_test（salve） 192.168.111.4 四個節(jié)點上均是 Ubuntu10.0 系統(tǒng)，并且有一個相同的用戶 hadoop。Master 機器主要配置 NameNode 和JobTracker 的角色，負責總管分布式數(shù)據和分解任務的執(zhí)行；3 個 Salve 機器配置 DataNode 和 TaskTracker 的角色，負責分布式數(shù)據存儲以及任務的執(zhí)行。其實應該

8、還應該有 1 個 Master 機器，用來作為備用，以防止Master 服務器宕機，還有一個備用馬上啟用。后續(xù)經驗積累一定階段后補上一臺備用 Master 機器。 1.3 網絡配置 下面的例子我們將以 Master 機器為例，即主機名為“computer1“，IP 為“192.168.111.1“進行一些主機名配置的相關操作。其他的 Slave 機器以此為依據進行修改。 1.3.1 編輯當前機器名稱 用下面命令進行顯示機器名稱，