HBase--伪分布和集群模式

  本博客主要介绍一下,HBase伪分布模式安装HBase集群模式的安装,以 hbase-0.98.8-hadoop2-bin.tar.gz 为例 。 操作比较简单,基本都是之前安装 hadooprediszookeeperkafkaflumehive 等一样的流程。下载后上传解压,修改一下配置文件环境变量配置临时和数据目录,然后启动即可。集群就是先规划,然后配置好一台后 scp 等就OK了。

  在搭建HBase的时候,需要保证Hdfs已经能正常运行HBase还需要zookeeper来做协调管理,但HBase也有内置的zk,如果需要使用外部的zk,需要修改配置文件hbase-site如下我们就配置了外部的zk。

伪分布

  1. 上传并解压重命名 hbase-0.98.8-hadoop2-bin.tar.gz/usr/local

    1
    2
    [root@xxo16 up]# tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz -C /usr/local/ ##解压
    [root@xxo16 up]# mv /usr/local/hbase-0.98.8-hadoop2/ /usr/local/hbase-0.98.8 ##重命名
  2. 添加环境变量

    1
    2
    3
    4
    5
    [root@xxo16 up]# vim /etc/profile
    ......... eg :
    export HBASE_HOME=/usr/local/hbase-0.98.8
    PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}/bin:$PATH
    [root@xxo16 up]# source /etc/profile
  3. 修改$HBASE_HOME/conf/hbase-env.sh

    1
    2
    3
    export JAVA_HOME=/usr/local/jdk1.7.0_79
    export HBASE_LOG_DIR=/usr/local/hbase-0.98.8/repo/logs
    export HBASE_ROOT_LOGGER=INFO,DRFA
  4. 修改$HBASE_HOME/conf/hbase-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    <!-- 临时目录 -->
    <property>
    <name>hbase.tmp.dir</name>
    <value>/usr/local/hbase-0.98.8/repo/tmp</value>
    </property>
    <property>
    <name>hbase.rootdir</name>
    <value>hdfs://xxo16:9000/hbase</value>
    </property>
    <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    </property>
    <!--zk -->
    <property>
    <name>hbase.zookeeper.quorum</name>
    <value>xxo16</value>
    </property>
    <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/local/hbase-0.98.8/repo/zk</value>
    </property>

    ##**注意**:
    ##$HBASE_HOME/conf/hbase-site.xml的hbase.rootdir的主机和端口号与
    ##$HADOOP_HOME/conf/core-site.xml的fs.default.name的主机和端口号一致
  5. 修改日志文件

    1
    hbase.log.dir=/usr/local/hbase-0.98.8/repo/logs
  6. 创建repo目录
    原因:上面我们已经把日志文件,zk 数据目录,临时目录放到了 repo 的文件中,所以我们去 HBase 跟目录创建一个文件夹,方便统一管理

    1
    [root@xxo16 conf]# mkdir /usr/local/hbase-0.98.8/repo
  7. 启动查看进程

  • 先启动Hadoop,后启动HBase,具体的启动日志如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    [root@xxo16 conf]# start-hbase.sh 
    xxo16: starting zookeeper, logging to /usr/local/hbase-0.98.8/repo/logs/hbase-root-zookeeper-xxo16.out
    starting master, logging to /usr/local/hbase-0.98.8/repo/logs/hbase-root-master-xxo16.out
    The authenticity of host 'localhost (::1)' can't be established.
    RSA key fingerprint is 3c:55:d3:bb:e9:15:5a:48:07:c4:22:6a:01:a5:45:cc.
    Are you sure you want to continue connecting (yes/no)? yes
    localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
    localhost: starting regionserver, logging to /usr/local/hbase-0.98.8/repo/logs/hbase-root-regionserver-xxo16.out

    [root@xxo16 conf]# jps ######查看进程
    3049 NameNode
    3659 HMaster
    3298 SecondaryNameNode
    3606 HQuorumPeer
    3879 Jps
    3136 DataNode
    3791 HRegionServer

    ###########当然我们也可以单独的去启动进程############################
    [root@xxo16 conf]# hbase-daemon.sh start master
    [root@xxo16 conf]# hbase-daemon.sh start regionserver

  • 访问HBabse
    访问 HBase

集群

  • 规划 : 如我有三台机器,xxo16,xxo17,xxo18
  • 第1-6步 : 对于 HBase集群模式搭建,很简单,相对于HBase伪分布模式就是多了几台机器而已。所以基本的配置和上面伪分布模式1-6步基本一样,这里省略。
  • 第七步 : 修改regionservers内容为

    1
    2
    3
    xxo16
    xxo17
    xxo18
  • 第八步 : 修改配置文件hbase-site.xml hbase.zookeeper.quorum value为 xxo16,xxo17,xxo18

    1
    2
    3
    4
    <property>
    <name>hbase.zookeeper.quorum</name>
    <value>xxo16,xxo17,xxo18</value>
    </property>
  • 第九步 : 启动即可。

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器