← 返回目录

简单说下ZooKeeper

第 34 / 73 卷

分区Leader选举;

监听Broker相关变化,即Broker新增、关闭等;

元数据管理,向其他Broker提供元数据服务;

为什么需要Controller?

我个人理解:凡是管理或者协调某样东西,都需要有个Leader,由他来把控全局,管理内部,对接外部,咱们就跟着Leader干就完事了。这其实对外也是好的,外部不需要和我们整体沟通,他只要和一

个决策者交流,效率更高。

再来看看朱大是怎么说的,以下内容来自《深入理解Kafka:核心设计与实践原理》。

在Kafka的早期版本中,并没有采用 Kafka Controller 这样一概念来对分区和副本的状态进行管理,而是依赖于 ZooKeeper,每个 broker都会在 ZooKeeper 上为分区和副本注册大量的监听器

(Watcher)。

当分区或副本状态变化时,会唤醒很多不必要的监听器,这种严重依赖 ZooKeeper 的设计会有脑裂、羊群效应,以及造成 ZooKeeper 过载的隐患。在目前的新版本的设计中,只有 Kafka

Controller 在 ZooKeeper 上注册相应的监听器,其他的 broker 极少需要再监听 ZooKeeper 中的数据变化,这样省去了很多不必要的麻烦。

简单说下ZooKeeper

了解了 Controller的作用之后我们还需要在简单的了解下ZooKeeper,因为Controller是极度依赖ZooKeeper的。(不过社区准备移除ZooKeeper,文末再提一下)

ZooKeeper是一个开源的分布式协调服务框架,最常用来作为注册中心等。ZooKeeper的数据模型就像文件系统一样,以根目录 "/" 开始,结构上的每个节点称为znode,可以存储一些信息。节点分为持

久节点和临时节点,临时节点会随着会话结束而自动被删除。

并且有Watcher功能,节点自身数据变更、节点新增、节点删除、子节点数量变更都可以通过变更监听器通知客户端。

图 48-1
图 48-1

Controller是如何依赖ZooKeeper的

全站分卷索引 · 73 卷
  1. 1什么是消息队列
  2. 2服务解耦
  3. 3注意
  4. 4小结一下
  5. 5如何保证消息不丢失
  6. 6存储消息
  7. 7如果处理重复消息
  8. 8如何保证消息的有序性
  9. 9最后
  10. 10正确的回答姿势
  11. 11小结一下面试技巧
  12. 12面试官想问的是什么
  13. 13消息队列设计成推消息还是拉消息?RocketMQ和Kafka是怎么做的?
  14. 14拉模式
  15. 15长轮询
  16. 16Kafka 中的长轮询
  17. 17小结一下
  18. 18消息队列之事务消息?RocketMQ和Kafka是怎么做的?
  19. 19分布式事务
  20. 20RocketMQ 事务消息
  21. 21RocketMQ 事务消息源码分析
  22. 22Kafka 事务消息
  23. 23最后
  24. 24那 qmq 怎么做的呢?
  25. 25再来看 RocketMQ 和 QMQ
  26. 26最后
  27. 27Kafka 系列
  28. 28entrySize
  29. 29从Kafka的索引冷热分区到MySQL InnoDB的缓冲池管理
  30. 30Kafka日志段如何读写解析?
  31. 31以下为日志的定义
  32. 32日志段的读取
  33. 33情景剧
  34. 34简单说下ZooKeeper
  35. 35Controller 底层事件模型
  36. 36LeaderAndIsrRequest
  37. 37Controller选举流程源码分析
  38. 38ControllerEventManager:事件处理器
  39. 39KafkaController#process
  40. 40ControllerContext:元数据
  41. 41最后
  42. 42Reactor模式
  43. 43Kafka Broker 网络通信模型
  44. 44源码级别剖析网络通信模型
  45. 45请求处理优先级
  46. 46Kafka为什么要抛弃Zookeeper?
  47. 47那为什么要抛弃 ZooKeeper
  48. 48所以没了 Zookeeper 之后的 Kafka 的怎样的?
  49. 49最后
  50. 50RocketMQ 整体架构设计
  51. 51NameServer
  52. 52Producer 发消息流程
  53. 53自动创建主题的弊端
  54. 54Broker 的存储
  55. 55消息刷盘机制
  56. 56文件预分配和文件预热
  57. 57Consumer
  58. 58一些注意点
  59. 59Linux内核参数
  60. 60Kafka和RocketMQ底层存储揭秘,为什么能这么快?
  61. 61sendfile-零拷贝
  62. 62RocketMQ 和 Kafka 的应用
  63. 63文件预分配
  64. 64RocketMQ 小结
  65. 65RocketMQ & Kafka 对比
  66. 66番外篇:定时任务的终极实现--时间轮,在Netty和Kafka中如何应用的?为什么不用Timer、延时线程池?
  67. 67小结一下
  68. 68小结一下
  69. 69小结一下
  70. 70Netty中的时间轮
  71. 71小结一下
  72. 72小结一下
  73. 73总结