Hadoop集群环境搭建

最近学习了下hadoop的安装。下面详细说明下步骤。

一、环境

我的是在Linux环境下进行安装的。

现在有三台服务器，分配如下：

192.168.3.100 NameNode          --主机名testhadoop
192.168.3.201 DataNode1         --主机名hadoopsub1
192.168.3.202 DataNode2         --主机名hadoopsub2

NameNode(主服务器)可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。

DataNode(从服务器)是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。

1、安装jdk
[root@testhadoop hadoop]# rpm -ivh jdk-7u80-linux-x64.rpm
[root@testhadoop hadoop]# vi /etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_80
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

[root@testhadoop hadoop]# source /etc/profile

[root@testhadoop hadoop]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

2、配置ssh
我们需要对ssh服务进行配置，以运行hadoop环境进行ssh无密码登录。即NameNode节点需要能够ssh无密码登录访问DataNode节点。

进入NameNode服务器，输入如下命令:

[root@testhadoop hadoop]# cd ~
[root@testhadoop ~]# cd .ssh/
[root@testhadoop .ssh]# ssh-keygen -t rsa
一直回车。.ssh目录下多出两个文件
私钥文件：id_rsa        公钥文件：id_rsa.pub
[root@testhadoop .ssh]# cp id_rsa.pub authorized_keys

将公钥文件authorized_keys分发到各DataNode节点：
[root@testhadoop .ssh]# scp authorized_keys root@192.168.3.201:/root/.ssh/
[root@testhadoop .ssh]# scp authorized_keys root@192.168.3.202:/root/.ssh/

验证ssh无密码登录：
[root@testhadoop .ssh]# ssh root@192.168.3.201
Last login: Fri Dec 11 15:52:52 2015 from 192.168.3.100
看到以上信息，表示配置成功！如果还提示要输入密码，则配置失败。


二、下载及安装Hadoop
去hadoop官网上（http://hadoop.apache.org/）下载合适的hadoop版本。我选择的是比较新的2.6.2版本。文件名为hadoop-2.6.2.tar.gz，下载文件上传到/usr/local下（三个服务器都要上传），切换到该目录下，解压：
[root@testhadoop local]# tar -zvxf hadoop-2.6.2.tar.gz
[root@testhadoop local]# mv hadoop-2.6.2 hadoop
[root@testhadoop local]# vi /etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_80
HADOOP_HOME=/usr/local/hadoop
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_HOME HADOOP_HOME CLASSPATH PATH

[root@testhadoop local]# source /etc/profile

配置之前，先在本地文件系统创建以下文件夹：/usr/local/hadoop/tmp、/usr/local/hadoop/dfs/data、/usr/local/hadoop/dfs/name。 主要涉及的配置文件有7个：都在/hadoop/etc/hadoop文件夹下。
/hadoop/etc/hadoop/hadoop-env.sh
/hadoop/etc/hadoop/yarn-env.sh
/hadoop/etc/hadoop/slaves
/hadoop/etc/hadoop/core-site.xml
/hadoop/etc/hadoop/hdfs-site.xml
/hadoop/etc/hadoop/mapred-site.xml
/hadoop/etc/hadoop/yarn-site.xml


主服务器(192.168.3.100)进入配置目录：cd /usr/local/hadoop/etc/hadoop
修改core-site.xml文件:
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.3.100:9000</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>4096</value>
  </property>
</configuration>
注：两个从服务器也要按上面修改core-site.xml配置文件。


以下其余配置只针对主服务器。
修改hdfs-site.xml文件:
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>hadoop-cluster1</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.3.100:50090</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/local/hadoop/dfs/data</value>
  </property>
  <property>
    <name>dfs.replication</name>
    --这个有几台从服务器就配置几，笔者这里有两台从服务器，所以配置的值是2
    <value>2</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
</configuration>

修改mapred-site.xml文件:
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobtracker.http.address</name>
    <value>192.168.3.100:50030</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>192.168.3.100:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>192.168.3.100:19888</value>
  </property>
</configuration>

修改yarn-site.xml文件:
<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>192.168.3.100:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>192.168.3.100:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>192.168.3.100:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>192.168.3.100:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    --这里是配置通过web模式访问hadoop下的应用端口
    <value>192.168.3.100:8088</value>
  </property>
</configuration>

修改slaves文件:
192.168.3.201
192.168.3.202

修改hadoop-env.sh文件:
export JAVA_HOME=/usr/java/jdk1.7.0_80
修改yarn-env.sh文件:
export JAVA_HOME=/usr/java/jdk1.7.0_80



[root@testhadoop etc]# vi hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.3.201     hadoopsub1
192.168.3.202     hadoopsub2



3、格式化文件系统
[root@testhadoop hadoop]# pwd
/usr/local/hadoop
[root@testhadoop hadoop]# bin/hdfs namenode -format
注意：这里的格式化文件系统并不是硬盘格式化，只是针对主服务器hdfs-site.xml的dfs.namenode.name.dir和dfs.datanode.data.dir目录做相应的清理工作。
[root@hadoopsub1 hadoop]# bin/hdfs namenode -format
[root@hadoopsub2 hadoop]# bin/hdfs namenode -format
注意：这里的两个从服务器也要做清理工作。


4、启动和停止服务
[root@testhadoop hadoop]# sbin/start-dfs.sh
[root@testhadoop hadoop]# sbin/start-yarn.sh
或者
[root@testhadoop hadoop]# sbin/start-all.sh


[root@testhadoop hadoop]# sbin/stop-dfs.sh
[root@testhadoop hadoop]# sbin/stop-yarn.sh
或者
[root@testhadoop hadoop]# sbin/stop-all.sh


5、查看启动的进程
[root@testhadoop hadoop]# jps
3039 ResourceManager
3311 Jps
2806 NameNode

[root@hadoopsub ~]# jps
3151 Jps
2926 DataNode
3029 NodeManager


6、查看集群状态
[root@testhadoop hadoop]# ./bin/hdfs dfsadmin -report
15/12/11 16:36:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Configured Capacity: 52844687360 (49.22 GB)
Present Capacity: 46288113664 (43.11 GB)
DFS Remaining: 46288089088 (43.11 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 192.168.3.201:50010 (hadoopsub)
Hostname: hadoopsub
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6556573696 (6.11 GB)
DFS Remaining: 46288089088 (43.11 GB)
DFS Used%: 0.00%
DFS Remaining%: 87.59%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Dec 11 16:36:39 CST 2015


三、通过浏览器访问
http://192.168.3.100:50070/


http://192.168.3.100:8088/


特别说明下，上面配置主服务器的slaves文件，使用的是ip配置，此时需要在主服务器的/etc/hosts中增加ip到主机名的映射如下：
[root@testhadoop etc]# vi hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.3.201     hadoopsub1
192.168.3.202     hadoopsub2
否则，可能在执行start-dfs.sh命令时，从服务器的DateNode节点打印如下错误日志：
2015-12-11 16:50:36,375 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-1748412339-192.168.3.201-1420015637155 (Datanode Uuid null) service to /192.168.3.202:9000 Datanode denied communication with namenode because hostname cannot be resolved (ip=192.168.3.201, hostname=192.168.3.201):
DatanodeRegistration(0.0.0.0, datanodeUuid=3ed21882-db82-462e-a71d-0dd52489d19e, infoPort=50075, ipcPort=50020, storageInfo=lv=-55;cid=CID-4237dee9-ea5e-4994-91c2-
008d9e804960;nsid=358861143;c=0)
大意是无法将ip地址解析成主机名，也就是无法获取到主机名，需要在/etc/hosts中进行指定。

【注】：整个配置过程需要在从服务器上的操作有:安装jdk、/hadoop/etc/hadoop/hadoop-env.sh、/hadoop/etc/hadoop/yarn-env.sh、/hadoop/etc/hadoop/core-site.xml，还有在从服务器上需要执行的一个命令[root@hadoopsub hadoop]# bin/hdfs namenode -format