Hadoop--2.0集群
本篇博客主要讲解Hadoop2.0集群
的安装配置(以hadoop-2.6.0.tar.gz
为例),使用centsos6.5,jdk使用1.7。由于前面几篇博客已经讲解hadoop1.0、hadoop2.0的伪分布式安装了,所以该篇博文就不一一贴步骤了(会省略基本的环境准备)。
注意:对基本的环境还不了解的可以查看博客Hadoop-安装前环境准备。
该博客省略基本环境搭建
- 设置ip地址
- 关闭防火墙
- 设置主机名
- 绑定Hostname
- 设置ssh
- 安装JDK
- 上传hadoop-2.6.0.tar.gz
集群规划
主机 主机名
192.168.33.69 xxo04(主)
192.168.33.70 xxo05
192.168.33.71 xxo06节点分布:
hdfs
xxo04 : NameNode|DataNode
xxo05 : DataNode
xxo06 : SecondaryNameNode|DataNode
yarn
xxo04 : NodeManager
xxo05 : ResourceManager|NodeManager
xxo06 : NodeManager在xxo04中配置,hosts
1
2
3
4[root@xxo04 ~]# vim /etc/hosts
192.168.33.69 xxo04
192.168.33.70 xxo05
192.168.33.71 xxo06
安装配置
一、上传hadoop后解压文件到/use/local/目录下
1
2
3
4
5
6
7
8
9
10
11
12
13
14[root@xxo04 up]# tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
[root@xxo04 up]# cd /usr/local/hadoop-2.6.0/
[root@xxo04 hadoop-2.6.0]# ll
total 52
drwxr-xr-x. 2 20000 20000 4096 Nov 14 2014 bin
drwxr-xr-x. 3 20000 20000 4096 Nov 14 2014 etc
drwxr-xr-x. 2 20000 20000 4096 Nov 14 2014 include
drwxr-xr-x. 3 20000 20000 4096 Nov 14 2014 lib
drwxr-xr-x. 2 20000 20000 4096 Nov 14 2014 libexec
-rw-r--r--. 1 20000 20000 15429 Nov 14 2014 LICENSE.txt
-rw-r--r--. 1 20000 20000 101 Nov 14 2014 NOTICE.txt
-rw-r--r--. 1 20000 20000 1366 Nov 14 2014 README.txt
drwxr-xr-x. 2 20000 20000 4096 Nov 14 2014 sbin
drwxr-xr-x. 4 20000 20000 4096 Nov 14 2014 share二、 配置hadoop环境变量(详情见hadoop2.0)
三、修改配置文件
修改/usr/local/hadoop-2.6.0/etc/hadoop/下的配置文件1
2
3
4
5
6
7
8
9
10
11
12[root@xxo04 hadoop-2.6.0]# cd /usr/local/hadoop-2.6.0/etc/hadoop/
##############修改如下8个配置文件##############################
############### 一. 2个sh文件、1个日志文件、1个主从文件##########
hadoop-env.sh
yarn-env.sh
log4j.properties
slaves
############## 二. 4个xml文件#################################
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
修改后配置文件,点击可查看,这里就不一一贴出了(注:主机名的修改
四、在xxo05\xxo06 重复上面操作(记得配置ssh免密码登录)
五、格式化
我们需要在xx04中执行格式化命令1
2[root@xxo04 ~]# hdfs namenode -format
Formatting using clusterid: CID-e59cc833-b618-4186-9158-1ddb3f15dd10六、启动HDFS
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25[root@xxo04 hadoop]# start-dfs.sh
Starting namenodes on [xxo04]
xxo04: starting namenode, logging to /usr/local/hadoop_repo/logs/hadoop-root-namenode-xxo04.out
xxo05: starting datanode, logging to /usr/local/hadoop_repo/logs/hadoop-root-datanode-xxo05.out
xxo06: starting datanode, logging to /usr/local/hadoop_repo/logs/hadoop-root-datanode-xxo06.out
xxo04: starting datanode, logging to /usr/local/hadoop_repo/logs/hadoop-root-datanode-xxo04.out
Starting secondary namenodes [xxo06]
xxo06: starting secondarynamenode, logging to /usr/local/hadoop_repo/logs/hadoop-root-secondarynamenode-xxo06.out
####################### 查看xxo04进程 ###############################
[root@xxo04 hadoop]# jps
2097 DataNode
2308 Jps
2008 NameNode
####################### 查看xxo05进程 ###############################
[root@xxo05 logs]# jps
1325 Jps
1257 DataNode
####################### 查看xxo06进程 ###############################
[root@xxo06 logs]# jps
1495 SecondaryNameNode
1408 DataNode
1535 Jps测试,hdfs的集群:http://xxo04:50070/
六、启动YARN ,我们需要在xx05中启动yarn
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27[root@xxo05 logs]# start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop_repo/logs/yarn-root-resourcemanager-xxo05.out
xxo04: starting nodemanager, logging to /usr/local/hadoop_repo/logs/yarn-root-nodemanager-xxo04.out
xxo06: starting nodemanager, logging to /usr/local/hadoop_repo/logs/yarn-root-nodemanager-xxo06.out
xxo05: starting nodemanager, logging to /usr/local/hadoop_repo/logs/yarn-root-nodemanager-xxo05.out
####################### 查看xxo05进程 ###############################
[root@xxo05 logs]# jps
2808 NodeManager ##start-yarn.sh
2714 ResourceManager ##start-yarn.sh
2842 Jps
1257 DataNode
####################### 查看xxo04进程 ###############################
[root@xxo04 ~]# jps
2097 DataNode
2008 NameNode
4325 Jps
4203 NodeManager ##start-yarn.sh
####################### 查看xxo06进程 ###############################
[root@xxo06 ~]# jps
1495 SecondaryNameNode
1408 DataNode
2930 NodeManager ##start-yarn.sh
3059 Jps测试,hdfs的集群:http://xxo05:8088/