← 返回目录

Kafka 事务消息

第 22 / 73 卷

图 29-1
图 29-1

Kafka 事务消息

Kafka 的事务消息和 RocketMQ 的事务消息又不一样了,RocketMQ 解决的是本地事务的执行和发消息这两个动作满足事务的约束。

而 Kafka 事务消息则是用在一次事务中需要发送多个消息的情况,保证多个消息之间的事务约束,即多条消息要么都发送成功,要么都发送失败,就像下面代码所演示的。

图 29-2
图 29-2

Kafka 的事务基本上是配合其幂等机制来实现 Exactly Once 语义的,所以说 Kafka 的事务消息不是我们想的那种事务消息,RocketMQ 的才是。

讲到这我就想扯一下了,说到这个 Exactly Once 其实不太清楚的同学很容易会误解。

我们知道消息可靠性有三种,分别是最多一次、恰好一次、最少一次,之前在消息队列连环问的文章我已经提到了基本上我们都是用最少一次然后配合消费者端的幂等来实现恰好一次。

消息恰好被消费一次当然我们所有人追求的,但是之前文章我已经从各方面已经分析过了,基本上难以达到。

而 Kafka 竟说它能实现 Exactly Once?这么牛啤吗?这其实是 Kafka 的一个噱头,你要说他错,他还真没错,你要说他对但是他实现的 Exactly Once 不是你心中想的那个 Exactly Once。

它的恰好一次只能存在一种场景,就是从 Kafka 作为消息源,然后做了一番操作之后,再写入 Kafka

图 30-1
图 30-1

那他是如何实现恰好一次的?就是通过幂等,和我们在业务上实现的一样通过一个唯一 Id,然后记录下来,如果已经记录过了就不写入,这样来保证恰好一次。

所以说 Kafka 实现的是在特定场景下的恰好一次,不是我们所想的利用 Kafka 来发送消息,那么这条消息只会恰巧被消费一次。

这其实和 Redis 说他实现事务了一样,也不是我们心想的事务。

所以开源软件说啥啥特性开发出来了,我们一味的相信,因此其往往都是残血的或者在特殊的场景下才能满足,不要被误导了,不能相信表面上的描述,还得详细的看看文档或者源码。

不过从另一个角度看也无可厚非,作为一个开源软件肯定是想更多的人用,我也没说谎呀,我文档上写的很清楚的,这标题也没骗人吧?

确实,比如你点进震惊xxxx标题的文章,人家也没骗你啥,他自己确实震惊的呢。

图 30-2
图 30-2

再回来谈 Kafka 的事务消息,所以说这个事务消息不是我们想要的那个事务消息,其实不是今天的主题了,不过我还是简单的说一下。

Kafka 的事务有事务协调者角色,事务协调者其实就是 Broker 的一部分。

在开始事务的时候,生产者会向事务协调者发起请求表示事务开启,事务协调者会将这个消息记录到特殊的日志-事务日志中,然后生产者再发送真正想要发送的消息,这里 Kafka 和 RocketMQ 处理不一

样,Kafka 会像对待正常消息一样处理这些事务消息,由消费端来过滤这个消息。

全站分卷索引 · 73 卷
  1. 1什么是消息队列
  2. 2服务解耦
  3. 3注意
  4. 4小结一下
  5. 5如何保证消息不丢失
  6. 6存储消息
  7. 7如果处理重复消息
  8. 8如何保证消息的有序性
  9. 9最后
  10. 10正确的回答姿势
  11. 11小结一下面试技巧
  12. 12面试官想问的是什么
  13. 13消息队列设计成推消息还是拉消息?RocketMQ和Kafka是怎么做的?
  14. 14拉模式
  15. 15长轮询
  16. 16Kafka 中的长轮询
  17. 17小结一下
  18. 18消息队列之事务消息?RocketMQ和Kafka是怎么做的?
  19. 19分布式事务
  20. 20RocketMQ 事务消息
  21. 21RocketMQ 事务消息源码分析
  22. 22Kafka 事务消息
  23. 23最后
  24. 24那 qmq 怎么做的呢?
  25. 25再来看 RocketMQ 和 QMQ
  26. 26最后
  27. 27Kafka 系列
  28. 28entrySize
  29. 29从Kafka的索引冷热分区到MySQL InnoDB的缓冲池管理
  30. 30Kafka日志段如何读写解析?
  31. 31以下为日志的定义
  32. 32日志段的读取
  33. 33情景剧
  34. 34简单说下ZooKeeper
  35. 35Controller 底层事件模型
  36. 36LeaderAndIsrRequest
  37. 37Controller选举流程源码分析
  38. 38ControllerEventManager:事件处理器
  39. 39KafkaController#process
  40. 40ControllerContext:元数据
  41. 41最后
  42. 42Reactor模式
  43. 43Kafka Broker 网络通信模型
  44. 44源码级别剖析网络通信模型
  45. 45请求处理优先级
  46. 46Kafka为什么要抛弃Zookeeper?
  47. 47那为什么要抛弃 ZooKeeper
  48. 48所以没了 Zookeeper 之后的 Kafka 的怎样的?
  49. 49最后
  50. 50RocketMQ 整体架构设计
  51. 51NameServer
  52. 52Producer 发消息流程
  53. 53自动创建主题的弊端
  54. 54Broker 的存储
  55. 55消息刷盘机制
  56. 56文件预分配和文件预热
  57. 57Consumer
  58. 58一些注意点
  59. 59Linux内核参数
  60. 60Kafka和RocketMQ底层存储揭秘,为什么能这么快?
  61. 61sendfile-零拷贝
  62. 62RocketMQ 和 Kafka 的应用
  63. 63文件预分配
  64. 64RocketMQ 小结
  65. 65RocketMQ & Kafka 对比
  66. 66番外篇:定时任务的终极实现--时间轮,在Netty和Kafka中如何应用的?为什么不用Timer、延时线程池?
  67. 67小结一下
  68. 68小结一下
  69. 69小结一下
  70. 70Netty中的时间轮
  71. 71小结一下
  72. 72小结一下
  73. 73总结