Flume--kafka source启动异常

  • 在flume中配置了一个kafka source的agent。如下:
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    # 使用kafka作为一个sources

    # Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1

    # kfka source
    a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
    a1.sources.r1.zookeeperConnect = xxo08:2181,xxo09:2181,xxo10:2181##zk集群
    a1.sources.r1.topic = word
    a1.sources.r1.groupId = flume
    a1.sources.r1.kafka.consumer.timeout.ms = 3000

    # Describe the sink
    a1.sinks.k1.type = logger

    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100

    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

游记--晴空万里的阳台山

  周五的时候,好友打来电话,说想出去爆走,正好我也有这个打算,于是让她准备了行程(阳台山),周日出发。周六还下着大雨,查了查天气,周日晴。也刚好是周六的雨造就了周日的晴空万里。——晴空万里的阳台山

行程安排

  - 首次乘坐的地铁:从天通苑6:00出发,乘坐地铁5号线–(惠新西街南口转)–10号线–(海淀黄庄转)–4号大兴线–到达西苑。
  - 从西苑不行4分钟作用到达346公交起始站,到北安河西口下车。

Kafka--Consumer消费者

  Kafka 的 consumer 是以pull的形式获取消息数据的。 producer push消息到kafka cluster ,consumer从集群中pull消息,如下图。该博客主要讲解. Parts在消费者中的分配、以及相关的消费者顺序底层结构元数据信息Kafka数据读取和存储等
   kafka消息生产/消费

Parts在消费者中的分配

  • 首先partition和consumer都会字典排序
  1. 分区Partition从小到大排序:分区顺序是0,1,2,3,4,5,6,7,8,9
  2. 消费者Consumer id按照字典顺序排序:f0b87809-0, f1b87809-0, f1b87809-1

Kafka--集群及API操作

  本篇博客,主要讲解kafka集群配置kafka的容错kafka扩展机制。以及使用kafka模拟一个网络流量实时统计来看一看Kafka的一些api使用方法。

kafka集群

集群搭建

  • 一、准备集群机器(这里使用3台):主机名xxo08、xxo09、xxo10(我把zookeeper集群也放在了这里)。
  • 二、搭建并启动 zookeeper集群

  • 三、修改配置文件

  1. /opt/kafka/config/server.properties broker.id=0  ##broker的id每一个broker应该不同
  2. log.dirs=/opt/kafka_logs  ##
  3. zookeeper.connect=xxo08:2181,xxo09:2181,xxo10:2181 ##注意:我的zokeeper也在这三台机器上
  • 四、同步其它节点
    scp -r /opt/kafka/ root@xxo09:/opt/
    scp -r /opt/kafka/ root@xxo10:/opt/
    并修改
    xxo09 /opt/kafka/config/server.properties broker.id=1  ##broker的id
    xxo10 /opt/kafka/config/server.properties broker.id=2  ##broker的id

Kafka--集群及API操作

  本篇博客,主要讲解kafka集群配置kafka的容错kafka扩展机制。以及使用kafka模拟一个网络流量实时统计来看一看Kafka的一些api使用方法。

kafka集群

集群搭建

  • 一、准备集群机器(这里使用3台):主机名xxo08、xxo09、xxo10(我把zookeeper集群也放在了这里)。
  • 二、搭建并启动 zookeeper集群

  • 三、修改配置文件

  1. /opt/kafka/config/server.properties broker.id=0  ##broker的id每一个broker应该不同
  2. log.dirs=/opt/kafka_logs  ##
  3. zookeeper.connect=xxo08:2181,xxo09:2181,xxo10:2181 ##注意:我的zokeeper也在这三台机器上
  • 四、同步其它节点
    scp -r /opt/kafka/ root@xxo09:/opt/
    scp -r /opt/kafka/ root@xxo10:/opt/
    并修改
    xxo09 /opt/kafka/config/server.properties broker.id=1  ##broker的id
    xxo10 /opt/kafka/config/server.properties broker.id=2  ##broker的id

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器