← 返回目录

11.1.2. Zookeeper工作原理(原子广播)

第 149 / 248 卷作者:AlexWang日期:

的选择举过程如下:

1.服务器 1 启动,给自己投票,然后发投票信息,由于其它机器还没有启动所以它收不到反馈信息,服务器 1 的状态一直属于 Looking。

2.服务器 2 启动,给自己投票,同时与之前启动的服务器 1 交换结果,由于服务器2 的编号大所以服务器2 胜出,但此时投票数没有大于半数,所以两个服务器的状态依然是

LOOKING。

3.服务器 3 启动,给自己投票,同时与之前启动的服务器 1,2 交换信息,由于服务器 3 的编号最大所以服务器3 胜出,此时投票数正好大于半数,所以服务器 3 成为领导者,服务器

1,2 成为小弟。

4.服务器 4 启动,给自己投票,同时与之前启动的服务器 1,2,3 交换信息,尽管服务器 4 的编号大,但之前服务器 3 已经胜出,所以服务器4 只能成为小弟。

5.服务器 5 启动,后面的逻辑同服务器 4 成为小弟。

11.1.2.Zookeeper工作原理(原子广播)

1.Zookeeper 的核心是原子广播,这个机制保证了各个 server 之间的同步。实现这个机制的协议叫做 Zab协议。Zab 协议有两种模式,它们分别是恢复模式和广播模式。

2.当服务启动或者在领导者崩溃后,Zab 就进入了恢复模式,当领导者被选举出来,且大多数 server 的完成了和 leader 的状态同步以后,恢复模式就结束了。

3.状态同步保证了 leader 和 server 具有相同的系统状态 4.一旦 leader 已经和多数的 follower 进行了状态同步后,他就可以开始广播消息了,即进

入广播状态。这时候当一个 server 加入 zookeeper 服务中,它会在恢复模式下启动,发现 leader,并和 leader 进行状态同步。待到同步结束,它也参与消息广播。Zookeeper

服务一直维持在 Broadcast 状态,直到 leader 崩溃了或者 leader 失去了大部分的 followers 支持。

5.广播模式需要保证 proposal 被按顺序处理,因此 zk 采用了递增的事务 id 号(zxid)来保证。所有的提议(proposal)都在被提出的时候加上了zxid。

6.实现中 zxid是一个 64 为的数字,它高32 位是 epoch 用来标识 leader 关系是否改变,每次一个 leader 被选出来,它都会有一个新的 epoch。低32 位是个递增计数。

7.当 leader 崩溃或者 leader 失去大多数的 follower,这时候 zk 进入恢复模式,恢复模式需要重新选举出一个新的 leader,让所有的 server 都恢复到一个正确的状态。

11.1.3.Znode 有四种形式的目录节点

1.PERSISTENT:持久的节点。

2.EPHEMERAL:暂时的节点。

3.PERSISTENT_SEQUENTIAL:持久化顺序编号目录节点。

4.EPHEMERAL_SEQUENTIAL:暂时化顺序编号目录节点。

全站分卷索引 · 248 卷
  1. 12. JVM
  2. 22.1. 线程
  3. 32.2. JVM内存区域
  4. 42.2.1. 程序计数器(线程私有)
  5. 52.2.3. 本地方法区(线程私有)
  6. 62.3. JVM运行时内存
  7. 71:eden、servicorFrom 复制到ServicorTo,年龄+1
  8. 82.4. 垃圾回收与算法
  9. 92.4.2. 标记清除算法(Mark-Sweep)
  10. 102.4.4. 标记整理算法(Mark-Compact)
  11. 112.4.5. 分代收集算法
  12. 122.5. JAVA 四中引用类型
  13. 132.6.2. 分区收集算法
  14. 142.7.3. Parallel Scavenge收集器(多线程复制算法、高效)
  15. 152.7.5. Parallel Old收集器(多线程标记整理算法)
  16. 162.7.6.2. 并发标记
  17. 172.8.2. 非阻塞IO模型
  18. 182.8.4. 信号驱动IO模型
  19. 192.8.2. JAVA NIO
  20. 202.8.2.1. NIO的缓冲区
  21. 212.8.3. Channel
  22. 222.9. JVM 类加载机制
  23. 232.9.1.5. 符号引用
  24. 242.9.2.1. 启动类加载器(Bootstrap ClassLoader)
  25. 252.9.4. OSGI(动态模型系统)
  26. 263. JAVA集合
  27. 273.2. List
  28. 283.3. Set
  29. 293.3.1.2. TreeSet(二叉树)
  30. 303.4. Map
  31. 313.4.1.2. JAVA8实现
  32. 323.4.2.3. 并行度(默认16)
  33. 333.4.3. HashTable(线程安全)
  34. 344. JAVA多线程并发
  35. 354.1.2.3. ExecutorService、Callable<Class>、Future有返回值线程
  36. 364.1.2.4. 基于线程池的方式
  37. 374.1.3.1. newCachedThreadPool
  38. 384.1.3.3. newScheduledThreadPool
  39. 394.1.4.2. 就绪状态(RUNNABLE):
  40. 404.1.5. 终止线程4种方式
  41. 414.1.5.4. stop方法终止线程(线程不安全)
  42. 424.1.7. start与run区别
  43. 434.1.9. JAVA锁
  44. 44自旋锁的开启
  45. 454.1.9.5. ReentrantLock
  46. 46公平锁
  47. 47Condition类和Object类锁方法区别区别
  48. 48Semaphore 与ReentrantLock
  49. 494.1.9.9. 公平锁与非公平锁
  50. 504.1.9.12. 重量级锁(Mutex Lock)
  51. 51减少锁持有时间
  52. 524.1.10.1. 线程等待(wait)
  53. 534.1.10.5. Join等待其他线程终止
  54. 544.1.11. 线程上下文切换
  55. 554.1.11.6. 上下文切换的活动:
  56. 564.1.13.3. 拒绝策略
  57. 574.1.14. JAVA阻塞队列原理
  58. 584.1.14.1. 阻塞队列的主要方法
  59. 59获取数据操作:
  60. 604.1.14.3. ArrayBlockingQueue(公平、非公平)
  61. 614.1.14.7. SynchronousQueue(不存储数据、可用于传递数据)
  62. 624.1.15. CyclicBarrier、CountDownLatch、Semaphore的用法
  63. 634.1.15.3. Semaphore(信号量-控制同时访问的线程个数)
  64. 644.1.16. volatile关键字的作用(变量可见性、禁止重排序)
  65. 654.1.17. 如何在两个线程之间共享数据
  66. 66Runnable对象作为一个类的内部类
  67. 674.1.18. ThreadLocal作用(线程本地存储)
  68. 68使用场景
  69. 694.1.19.2. 两者的不同点:
  70. 70ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成
  71. 714.1.21.3. JVM的线程调度实现(抢占式调度)
  72. 724.1.22.2. 高优先权优先调度算法
  73. 734.1.22.3. 基于时间片的轮转调度算法
  74. 744.1.23.2. 原子包 java.util.concurrent.atomic(锁自旋)
  75. 754.1.23.3. ABA问题
  76. 76Exclusive独占资源-ReentrantLock
  77. 77同步器的实现是ABS核心(state资源状态计数)
  78. 785. JAVA基础
  79. 795.1.1.3. 异常的处理方式
  80. 805.1.2. JAVA反射
  81. 81的编译时类型无法获取具体方法
  82. 825.1.2.7. 创建对象的两种方法
  83. 835.1.3. JAVA注解
  84. 845.1.3.3. 注解处理器
  85. 855.1.4. JAVA内部类
  86. 865.1.4.2. 成员内部类
  87. 875.1.4.4. 匿名内部类(要继承一个父类或者实现一个接口、直接使用new来生成一个对象的引用)
  88. 885.1.5. JAVA泛型
  89. 895.1.5.3. 类型通配符?
  90. 90序列化并不保存静态变量
  91. 915.1.7.3. 深复制(复制对象和其应用对象)
  92. 926. Spring 原理
  93. 936.1.2. Spring 核心组件
  94. 946.1.4. Spring 主要包
  95. 956.1.6. Spring 第三方结合
  96. 966.1.7. Spring IOC原理
  97. 971.1..1.1.1 BeanDefinitionRegistry注册表
  98. 981.1..1.1.6 AutowireCapableBeanFactory自动装配
  99. 99WebApplication体系架构
  100. 100prototype:原型模式每次使用时创建
  101. 101ApplicationContextAware实现
  102. 1026.1.7.6. Spring 依赖注入四种方式
  103. 103setter方法注入
  104. 1046.1.7.7. 5种不同方式的自动装配
  105. 1056.1.8. Spring APO原理
  106. 1066.1.8.1. AOP两种代理方式
  107. 107CGLib动态代理
  108. 1086.1.9. Spring MVC原理
  109. 109Http请求到DispatcherServlet
  110. 1106.1.10. Spring Boot原理
  111. 1116.1.11.1. 分布式事务
  112. 1126.1.11.1. 两阶段提交
  113. 1136.1.12. Mybatis缓存
  114. 1146.1.12.1. Mybatis的一级缓存原理(sqlsession级别)
  115. 115具体使用需要配置:
  116. 1167. 微服务
  117. 1177.1.1.3. 客户端发现
  118. 1187.1.1.4. 服务端发现
  119. 1197.1.2.1. 请求转发
  120. 1207.1.2.5. 安全认证
  121. 1217.1.6. 服务熔断(Hystrix)
  122. 1227.1.6.1. Hystrix断路器机制
  123. 1238. Netty 与RPC
  124. 1248.1.2.1. 异步通讯NIO
  125. 1258.1.2.2. 零拷贝(DIRECT BUFFERS使用堆外直接内存)
  126. 126Reactor多线程模型
  127. 1278.1.2.5. 无锁设计、线程绑定
  128. 128小包封大包,防止网络阻塞
  129. 1298.1.3.1. 消息编解码
  130. 130序列化
  131. 131监听消息的线程收到消息,找到callback上的锁并唤醒
  132. 1328.1.5. Protoclol Buffer
  133. 1338.1.5.1. 特点
  134. 1349. 网络
  135. 1359.1.2. TCP/IP原理
  136. 1369.1.3. TCP三次握手/四次挥手
  137. 1379.1.3.2. 三次握手
  138. 1389.1.3.3. 四次挥手
  139. 1399.1.4. HTTP原理
  140. 1402:封装HTTP请求数据包
  141. 1419.1.4.3. HTTPS
  142. 142建立连接获取证书
  143. 1439.1.5.2. 负载均衡系统:
  144. 14410. 日志
  145. 14510.1.4. ELK
  146. 14611. Zookeeper
  147. 14711.1.1.1. ZAB协议
  148. 148Discovery(发现阶段-接受提议、生成epoch、接受epoch)
  149. 14911.1.2. Zookeeper工作原理(原子广播)
  150. 15012. Kafka
  151. 15112.1.2.2. 数据文件分段segment(顺序读写、分段命令、二分查找)
  152. 15212.1.3.2. 批量发送
  153. 15312.1.1.1. Consumer Group
  154. 15413. RabbitMQ
  155. 15513.1.2.1. Message
  156. 15613.1.2.10. Broker
  157. 15713.1.3.3. topic 交换器(模式匹配)
  158. 15814. Hbase
  159. 15914.1.3. Hbase核心概念
  160. 16014.1.4.1. Client:
  161. 16114.1.4.5. Region寻址方式(通过zookeeper .META)
  162. 16214.1.5. Hbase的写逻辑
  163. 163全局内存控制
  164. 16415. MongoDB
  165. 16516. Cassandra
  166. 166虚拟节点(down机多节点托管)
  167. 167Gossip节点的通信方式及收敛性
  168. 16816.1.6. 数据写请求和协调者
  169. 16916.1.8. 数据存储(CommitLog、MemTable、SSTable)
  170. 17016.1.10. 数据读写
  171. 171墓碑
  172. 172行缓存和键缓存请求流程图
  173. 173Bloom Filter(查找数据可能对应的SSTable)
  174. 17417. 设计模式
  175. 17517.1.21. 状态模式
  176. 17618. 负载均衡
  177. 177haproxy:天生负载均衡技能,全面支持七层代理,会话保持,标记,路径转移;
  178. 17818.1.2.6. 最少连接数均衡(Least Connection)
  179. 17918.1.3. LVS
  180. 18018.1.3.1. LVS NAT 模式
  181. 18118.1.3.2. LVS DR 模式(局域网改写mac地址)
  182. 18218.1.3.3. LVS TUN 模式(IP封装、跨网段)
  183. 18318.1.3.4. LVS FULLNAT模式
  184. 18418.1.4. Keepalive
  185. 18518.1.5.1. upstream_module和健康检测
  186. 18618.1.6. HAProxy
  187. 18719. 数据库
  188. 18819.1.1.3. TokuDB(Fractal Tree-节点带数据)
  189. 18919.1.2.1. 常见索引原则有
  190. 19019.1.3.3. 第三范式(3rd NF- 不存在对非主键列的传递依赖)
  191. 191隔离性(Isolation)
  192. 19219.1.7.2. 悲观锁
  193. 19319.1.10. 分区分表
  194. 19419.1.11.1. 准备阶段
  195. 19519.1.12. 三阶段提交协议
  196. 196异步确保型
  197. 19719.1.14. CAP
  198. 19820. 一致性算法
  199. 1991.崩溃恢复:主要就是Leader选举过程
  200. 20020.1.3.3. 选举(Election)
  201. 20120.1.4. NWR
  202. 20220.1.6. 一致性Hash
  203. 203考察cache 的变动
  204. 20421. JAVA算法
  205. 20521.1.3. 插入排序算法
  206. 20621.1.4. 快速排序算法
  207. 20721.1.1. 希尔排序算法
  208. 20821.1.2. 归并排序算法
  209. 20921.1.3. 桶排序算法
  210. 21021.1.4. 基数排序算法
  211. 21121.1.5. 剪枝算法
  212. 21222. 数据结构
  213. 21322.1.4. 散列表(Hash Table)
  214. 21422.1.5.2. 删除操作
  215. 21522.1.5.3. 查询操作
  216. 21622.1.6.1. 右旋
  217. 21722.1.6.1. 添加
  218. 21822.1.6.2. 删除
  219. 21922.1.7. B-TREE
  220. 22022.1.8. 位图
  221. 22123. 加密算法
  222. 22223.1.3. CRC
  223. 22324. 分布式缓存
  224. 22425. Hadoop
  225. 22525.1.3. MapReduce
  226. 22625.1.3.3. TaskTracker
  227. 22725.1.4. Hadoop MapReduce 作业的生命周期
  228. 22826. Spark
  229. 22926.1.3. 核心组件
  230. 23026.1.5. SPARK计算模型
  231. 23126.1.6. SPARK运行流程
  232. 2321. 构建Spark Application的运行环境,启动SparkContext
  233. 233(2)RDD的两种操作算子(转换(Transformation)与行动(Action))
  234. 23427. Storm
  235. 23527.1.1.4. Task
  236. 23627.1.2.5. Stream
  237. 23727.1.3.3. Task(最终运行spout或bolt中代码的单元)
  238. 23827.1.4.1. huffle Grouping
  239. 23927.1.4.4. Global grouping
  240. 24028. YARN
  241. 24128.1.4. ApplicationMaster
  242. 24228.1.5. YARN运行流程
  243. 24329. 机器学习
  244. 24430. 云计算
  245. 24530.1.4.2. Namespaces
  246. 24630.1.4.3. 进程(CLONE_NEWPID 实现的进程隔离)
  247. 24730.1.4.5. 资源隔离与CGroups
  248. 24830.1.5. Openstack