HBase--Shell

  有段时间没更新了,今天就来个简单的吧–HBase的Shell。这个没什么技术含量,主要是帮助文档太强大了!可以说无需刻意记忆,help command就搞定了。那为什么还要写这篇博客呢?那就回到了第一句话“有段时间没更新了”来个简单的(●’◡’●)”!其实,不是啦,主要是用来提醒自己两件事情,一多看帮助文档和源码,二不要忽视简单的东西脚踏实地。(注:HBase版本0.98.8-hadoop2

Storm--DRPC

  DRPCDistributed RPC)分布式远程过程调用,Storm中的DRPC提供了集群中处理功能的访问接口。相当于集群向外暴露一个功能接口,用户可以在任何地方进行调用。DRPC的真正目的就是使用storm的实时并行计算功能。以一个输入流作为函数参数,以一个输出流的形式发射每个函数调用的结果。

DRPC介绍

Storm DRPC

Storm--故障容忍和消息可靠性

  如果Storm集群中某个Worker挂了会怎样?Nimbus和Supervisor挂掉了又会怎样?Storm流式处理数据又是怎样保证每条数据都能完全被处理的呢?这将是本博客讨论的重点,Storm的故障容忍,以及Storm的消息可靠性Acker机制

Storm--实时数据处理框架

  Storm 是Twitter开源的一个实时数据处理框架Storm能实现高频数据和大规模数据的实时处理,很多人喜欢拿Hadoop来进行比较,其实他们差别挺大的,关键是应用场景不一样。

Storm简介

  • Storm与Hadoop区别主要有以下几点:

    1. 场景: Hadoop 处理批量数据,不讲究时效性,Storm 是要处理某一新增数据时用的,要讲时效性;
    2. 数据: Hadoop 处理的是hdfs上TB级别的数据(历史数据),Storm 是处理的是实时新增的某一笔数据(实时数据);
    3. 速度: Hadoop 是以处理hdfs上TB级别数据为目的,速度慢,Storm 是只要处理新增的某一笔数据即可,速度快。

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器