HBase--服务异常排查

潜在的危机

  • 就在某一天下午,刚去公司楼下逛了一圈,悠哉悠哉的回到自己的工位上,几个同事就找过来了。说HBase服务巨慢,立即调出日志,晕,全是插入请求超时的日志。立即调出HBase监控,发现HBase一些可疑的信息!
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #61, waiting for some tasks to finish. Expected max=0, tasksInProgress=5
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #54, waiting for some tasks to finish. Expected max=0, tasksInProgress=6
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #18, waiting for some tasks to finish. Expected max=0, tasksInProgress=5
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #62, waiting for some tasks to finish. Expected max=0, tasksInProgress=5
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #46, waiting for some tasks to finish. Expected max=0, tasksInProgress=5
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #70, waiting for some tasks to finish. Expected max=0, tasksInProgress=4
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #45, waiting for some tasks to finish. Expected max=0, tasksInProgress=6
    INFO org.apache.hadoop.hbase.client.AsyncProcess: #47, waiting for some tasks to finish. Expected max=0, tasksInProgress=15


    INFO org.apache.hadoop.hbase.regionserver.wal.FSHLog: Slow sync cost: 204 ms, current pipeline: [DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-47fdd2fe-7722-47d9-9518-151b49a59fc7,DISK], DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-f55c19d9-5494-47d0-a97b-5d0d07fc8a95,DISK], DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-4413d571-cab8-4b5f-bc7f-9cf11d2ec2e8,DISK]]
    INFO org.apache.hadoop.hbase.regionserver.wal.FSHLog: Slow sync cost: 148 ms, current pipeline: [DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-47fdd2fe-7722-47d9-9518-151b49a59fc7,DISK], DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-f55c19d9-5494-47d0-a97b-5d0d07fc8a95,DISK], DatanodeInfoWithStorage[10.xx.xx.xx:50010,DS-4413d571-cab8-4b5f-bc7f-9cf11d2ec2e8,DISK]]

Cloudera Manager--升级

  我想大家都已经很熟悉Cloudera公司的产品了,我也是从CDH以及CM 4.x使用到现在最新版本CDH5.10.0。不知道大家是否和我一样,喜欢去折腾一些新的版本,总感觉最新的发行版要好一些,有更多优化改进的地方,哈哈哈,当然这种只是片面想法,毕竟早期的版本还是比较稳定。

  我们在升级CDH的时候,首先去升级的是Cloudera Manager,下面博客主要讲解的就是Cloudera Manager从5.5.1升级到5.9.1(其实升级的方法都是大同小异的,比如下面的方法升级5.5.1到5.10.0都是可以的亲自都升级过,只是下面的讲解截图是5.9.1)。

下载上传配置

  1. 下载rpm包,http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/

Some of the anomalies about kylin

  在做kylin的时候遇到了的一些问题,如果后面继续发现问题,会持续做更新……

  1. 异常信息:可以发现是找不到hive-jdbc驱动包
  2. kylin运行时Container内存不够
  3. 在kylin中执行SQL语句异常
  4. kylin执行时找不到类

About the installation of kylin

  我在这里就不去写一些关于Kylin的一些介绍了,而对于kylin的安装我想网上的博客也不少,那为什么还要写呢?主要有以下几点:

  1. 博客太多太杂,难免会遇到一些坑
  2. 该kylin的安装,主要是结合cloudera cdh安装
  3. 针对的是kylin 2.0版本,里面有些参数已经对于之前的版本有所改动了

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器