Cloudera Manager--升级Kafka

  之前使用的kafka版本0.10.0.0,因为一个项目用到了kafka streaming流计算中最新的API,要求从0.10.0.0->0.11.0.0,所以不得不去进行升级。
其实总的流程和Cloudera Manager中安装kafka差不多,记录下来,方便以后查询(只要是在Cloudera Manager中升级Kafka流程是一样的)。

检查 Kafka CSD

  1. 查看cloudera manager server服务所在节点的csd是否最新(节点上csd默认地址:/opt/cloudera/csd/
    否就去http://archive.cloudera.com/csds/kafka/下载最新的jar。

  2. 如果一致跳过下面的步骤
    2.1. 勾选“启用本地描述符存储库”
    进入cm管理界面,管理 => 设置 => 自定义服务描述 => 本地描述符存储路径,勾选“启用本地描述符存储库”

    2.2. 上传CSD文件到本地描述符存储库路径
    下载CSD文件(目前为KAFKA-1.2.0.jar)上传到本地描述符存储库路径(默认:/opt/cloudera/csd/)

升级parcel包

  1. 下载kafka parcel包
    下载地址:http://archive.cloudera.com/kafka/parcels(CentOS6.x选择el6版本)
  1. 上传下载的parcel包到CM安装的机器上的/opt/cloudera/parcel-repo目录
    (总共需要2个:KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel、 KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel.sha1)
    (在相应目录的manifest.json文件中,我们可以看到kafak的版本)

  2. 到CM parcel页面,点击检查新的parcel包(刷新不出时多点击几次并稍加等待)

  3. 出现Hash file is not found或未找到哈希文件错误时,需要去/opt/cloudera/parcel-repo将parcel.sha1修改为parcel.sha

  4. 再次回到页面点击检查新parcel(刷不成功多点击几次),错误消失,然后点击分配。

  5. 激活parcel包

    选择“仅限活动状态”

  6. 最后一步,逐个重启kafka服务就好了,升级成功

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器