HBase--服务异常排查

潜在的危机

  • 就在某一天下午,刚去公司楼下逛了一圈,悠哉悠哉的会到自己的工位上,几个同事就找过来了。说HBase服务巨慢,立即调出日志,晕,全是插入请求超时的日志。立即调出HBase监控,发现HBase一些可疑的信息!
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #61, waiting for some tasks to finish. Expected max=0, tasksInProgress=5
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #54, waiting for some tasks to finish. Expected max=0, tasksInProgress=6
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #18, waiting for some tasks to finish. Expected max=0, tasksInProgress=5
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #62, waiting for some tasks to finish. Expected max=0, tasksInProgress=5
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #46, waiting for some tasks to finish. Expected max=0, tasksInProgress=5
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #70, waiting for some tasks to finish. Expected max=0, tasksInProgress=4
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #45, waiting for some tasks to finish. Expected max=0, tasksInProgress=6
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #47, waiting for some tasks to finish. Expected max=0, tasksInProgress=15


    INFO org.apache.hadoop.hbase.regionserver.wal.FSHLog: Slow sync cost: 204 ms, current pipeline: [DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-47fdd2fe-7722-47d9-9518-151b49a59fc7,DISK], DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-f55c19d9-5494-47d0-a97b-5d0d07fc8a95,DISK], DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-4413d571-cab8-4b5f-bc7f-9cf11d2ec2e8,DISK]]
    INFO org.apache.hadoop.hbase.regionserver.wal.FSHLog: Slow sync cost: 148 ms, current pipeline: [DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-47fdd2fe-7722-47d9-9518-151b49a59fc7,DISK], DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-f55c19d9-5494-47d0-a97b-5d0d07fc8a95,DISK], DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-4413d571-cab8-4b5f-bc7f-9cf11d2ec2e8,DISK]]

阅读全文

Cloudera Manager--升级

  我想大家都已经很熟悉Cloudera公司的产品了,我也是从CDH以及CM 4.x使用到现在最新版本CDH5.10.0。不知道大家是否和我一样,喜欢去折腾一些新的版本,总感觉最新的发行版要好一些,有更多优化改进的地方,哈哈哈,当然这种只是片面想法,毕竟早期的版本还是比较稳定。

  我们在升级CDH的时候,首先去升级的是Cloudera Manager,下面博客主要讲解的就是Cloudera Manager从5.5.1升级到5.9.1(其实升级的方法都是大同小异的,比如下面的方法升级5.5.1到5.10.0都是可以的亲自都升级过,只是下面的讲解截图是5.9.1)。

下载上传配置

  1. 下载rpm包,http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/

    阅读全文

HBase--强制删除表

  HBase 强制删除表,这个网上记录的也有,但是发现有些记录的有问题,如果要是在生产环境中就需要谨慎的去操作了。在这里我记录一下自己工作中遇到的这个问题,以及解决步骤,遇到类似问题可以参考一下。

发现异常信息

  • 发现表无法操作了,查看一下状态:
    1
    2
    3
    4
    5
    6
    7
    8
    hbase(main):003:0> desc 'HBaseTable'
    Table HBaseTable is DISABLED
    HBaseTable
    COLUMN FAMILIES DESCRIPTION
    {NAME => 'd', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0',
    VERSIONS => '3', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => 'FOREVER',
    KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}
    1 row(s) in 0.0900 seconds

阅读全文

Oozie--安装配置及注意事项

  简单介绍一下,oozieoozie就是一个workflow协调系统,主要用来管理Hadoop作业(job)。属于web应用程序,由oozie clientoozie server两个组件构成。oozie server运行于java servlet容器(tomcat)中的web程序。

OOZIE

  1. Oozie定义了控制流节点(Control Flow Nodes)和动作节点(Action Nodes)
  2. 控制流节点定义了流程的开始和结束,以及控制流程的执行路径(Execution Path),如decision、fork、join等;
  3. 动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。

阅读全文

Sentry--通过Cloudera Manager配置Sentry

  本篇博客讲解一下通过Cloudera Manager配置Sentry的一个过程,如果对Sentry不够了解的可以查看这篇博客http://blog.javachen.com/2015/04/29/apache-sentry-architecture.html。添加Sentry服务,以及Cloudera Manager的界面配置这些都很简单,我就做一些简要说明,重点会说明我实际在Sentry配置过程中遇到的一些坑吧。其他配置方式可以参考博客http://blog.csdn.net/shenliang1985/article/details/50463432,说明:本博客CDH版本5.5.1,CDH版本5.8.0也同样适用。

添加Sentry服务

  • 添加Sentry很简单,下一步下一步即可,选择sentry服务也只需要一台主机。
    通过Cloudera Manager界面添加Sentry服务

阅读全文

Powered by Hexo . Theme by Landscape-plus