Hadoop--2.0集群

  本篇博客主要讲解Hadoop2.0集群的安装配置(以hadoop-2.6.0.tar.gz为例),使用centsos6.5,jdk使用1.7。由于前面几篇博客已经讲解hadoop1.0hadoop2.0的伪分布式安装了,所以该篇博文就不一一贴步骤了(会省略基本的环境准备)。

  1. 设置ip地址
  2. 关闭防火墙
  3. 设置主机名
  4. 绑定Hostname
  5. 设置ssh
  6. 安装JDK
  7. 上传hadoop-2.6.0.tar.gz

集群规划

  • 主机      主机名
    192.168.33.69  xxo04(主)
    192.168.33.70  xxo05
    192.168.33.71  xxo06

  • 节点分布:

    hdfs
    xxo04 : NameNode|DataNode
    xxo05 : DataNode
    xxo06 : SecondaryNameNode|DataNode
    yarn
    xxo04 : NodeManager
    xxo05 : ResourceManager|NodeManager
    xxo06 : NodeManager

  • 在xxo04中配置,hosts

    1
    2
    3
    4
    [root@xxo04 ~]# vim /etc/hosts
    192.168.33.69 xxo04
    192.168.33.70 xxo05
    192.168.33.71 xxo06

安装配置

  • 一、上传hadoop后解压文件到/use/local/目录下

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    [root@xxo04 up]# tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
    [root@xxo04 up]# cd /usr/local/hadoop-2.6.0/
    [root@xxo04 hadoop-2.6.0]# ll
    total 52
    drwxr-xr-x. 2 20000 20000 4096 Nov 14 2014 bin
    drwxr-xr-x. 3 20000 20000 4096 Nov 14 2014 etc
    drwxr-xr-x. 2 20000 20000 4096 Nov 14 2014 include
    drwxr-xr-x. 3 20000 20000 4096 Nov 14 2014 lib
    drwxr-xr-x. 2 20000 20000 4096 Nov 14 2014 libexec
    -rw-r--r--. 1 20000 20000 15429 Nov 14 2014 LICENSE.txt
    -rw-r--r--. 1 20000 20000 101 Nov 14 2014 NOTICE.txt
    -rw-r--r--. 1 20000 20000 1366 Nov 14 2014 README.txt
    drwxr-xr-x. 2 20000 20000 4096 Nov 14 2014 sbin
    drwxr-xr-x. 4 20000 20000 4096 Nov 14 2014 share
  • 二、 配置hadoop环境变量(详情见hadoop2.0)

  • 三、修改配置文件
    修改/usr/local/hadoop-2.6.0/etc/hadoop/下的配置文件

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    [root@xxo04 hadoop-2.6.0]# cd /usr/local/hadoop-2.6.0/etc/hadoop/
    ##############修改如下8个配置文件##############################
    ############### 一. 2个sh文件、1个日志文件、1个主从文件##########
    hadoop-env.sh
    yarn-env.sh
    log4j.properties
    slaves
    ############## 二. 4个xml文件#################################
    core-site.xml
    hdfs-site.xml
    mapred-site.xml
    yarn-site.xml

修改后配置文件,点击可查看,这里就不一一贴出了(:主机名的修改

  • 四、在xxo05\xxo06 重复上面操作(记得配置ssh免密码登录)

  • 五、格式化
    我们需要在xx04中执行格式化命令

    1
    2
    [root@xxo04 ~]# hdfs namenode -format
    Formatting using clusterid: CID-e59cc833-b618-4186-9158-1ddb3f15dd10
  • 六、启动HDFS

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    [root@xxo04 hadoop]# start-dfs.sh
    Starting namenodes on [xxo04]
    xxo04: starting namenode, logging to /usr/local/hadoop_repo/logs/hadoop-root-namenode-xxo04.out
    xxo05: starting datanode, logging to /usr/local/hadoop_repo/logs/hadoop-root-datanode-xxo05.out
    xxo06: starting datanode, logging to /usr/local/hadoop_repo/logs/hadoop-root-datanode-xxo06.out
    xxo04: starting datanode, logging to /usr/local/hadoop_repo/logs/hadoop-root-datanode-xxo04.out
    Starting secondary namenodes [xxo06]
    xxo06: starting secondarynamenode, logging to /usr/local/hadoop_repo/logs/hadoop-root-secondarynamenode-xxo06.out

    ####################### 查看xxo04进程 ###############################
    [root@xxo04 hadoop]# jps
    2097 DataNode
    2308 Jps
    2008 NameNode

    ####################### 查看xxo05进程 ###############################
    [root@xxo05 logs]# jps
    1325 Jps
    1257 DataNode

    ####################### 查看xxo06进程 ###############################
    [root@xxo06 logs]# jps
    1495 SecondaryNameNode
    1408 DataNode
    1535 Jps
  • 测试,hdfs的集群:http://xxo04:50070/
    hdfs的集群

  • 六、启动YARN ,我们需要在xx05中启动yarn

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    [root@xxo05 logs]# start-yarn.sh 
    starting yarn daemons
    starting resourcemanager, logging to /usr/local/hadoop_repo/logs/yarn-root-resourcemanager-xxo05.out
    xxo04: starting nodemanager, logging to /usr/local/hadoop_repo/logs/yarn-root-nodemanager-xxo04.out
    xxo06: starting nodemanager, logging to /usr/local/hadoop_repo/logs/yarn-root-nodemanager-xxo06.out
    xxo05: starting nodemanager, logging to /usr/local/hadoop_repo/logs/yarn-root-nodemanager-xxo05.out

    ####################### 查看xxo05进程 ###############################
    [root@xxo05 logs]# jps
    2808 NodeManager ##start-yarn.sh
    2714 ResourceManager ##start-yarn.sh
    2842 Jps
    1257 DataNode

    ####################### 查看xxo04进程 ###############################
    [root@xxo04 ~]# jps
    2097 DataNode
    2008 NameNode
    4325 Jps
    4203 NodeManager ##start-yarn.sh

    ####################### 查看xxo06进程 ###############################
    [root@xxo06 ~]# jps
    1495 SecondaryNameNode
    1408 DataNode
    2930 NodeManager ##start-yarn.sh
    3059 Jps
  • 测试,hdfs的集群:http://xxo05:8088/
    hdfs的集群

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器