阅读全文
div>
如果Storm集群中某个Worker挂了会怎样?Nimbus和Supervisor挂掉了又会怎样?Storm流式处理数据又是怎样保证每条数据都能完全被处理的呢?这将是本博客讨论的重点,Storm的故障容忍,以及Storm的消息可靠性和Acker机制。
阅读全文
div>
storm的并行度,其实就是让storm中的组件使用多线程来运行,正常情况下,每一个组件都是一个线程来运行的。
阅读全文
div>
阅读全文
div>
分布式系统中的节点通信存在两种模型:共享内存(Shared memory)和消息传递(Messages passing)。基于消息传递通信模型的分布式系统,不可避免的会发生以下错误:进程可能会慢、被杀死或者重启,消息可能会延迟、丢失、重复,在基础Paxos场景中,先不考虑可能出现消息篡改即拜占庭错误的情况。Paxos算法解决的问题是在一个可能发生上述异常的分布式系统中如何就某个值达成一致,保证不论发生以上任何异常,都不会破坏决议的一致性(来源维基百科)。
- Paxos 是什么?
- 一个可靠的存储系统: 基于多数派读写;
- 强一致性;
- 每个paxos实例用来存储一个值;
- 用2轮RPC来确定一个值;
- 一个值‘确定’后不能被修改;
- ‘确定’指被多数派接受写入。
阅读全文
div>
当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器