← 返回目录

RocketMQ & Kafka 对比

第 65 / 73 卷

图 88-1
图 88-1

Kafka 的消息写入对于单分区来说也是顺序写,如果分区不多的话从整体上看也算顺序写,它的日志文件并没有用到 mmap,而索引文件用了 mmap。但发消息 Kafka 用到了零拷贝。

对于消息的写入来说 mmap 其实没什么用,因为消息是从网络中来。而对于发消息来说 sendfile 对比 mmap+write 我觉得效率更高,因为少了一次页缓存到 SocketBuffer 中的拷贝。

来看下Kafka发消息的源码,最终调用的是 FileChannel.transferTo,底层就是 sendfile。

图 88-2
图 88-2

从 Kafka 源码中我没看到有类似于 RocketMQ的 mlock 等操作,我觉得原因是首先日志也没用到 mmap,然后 swap 其实可以通过 Linux 系统参数 vm.swappiness 来调节,这里建议设置为1,而不

是0。

假设内存真的不足,设置为 0 的话,在内存耗尽的情况下,又不能 swap,则会突然中止某些进程。设置个 1,起码还能拖一下,如果有良好的监控手段,还能给个机会发现一下,不至于突然中止。

RocketMQ & Kafka 对比

首先都是顺序写入,不过 RocketMQ 是把消息都存一个文件中,而 Kafka 是一个分区一个文件。

每个分区一个文件在迁移或者数据复制层面上来说更加得灵活。

但是分区多了的话,写入需要频繁的在多个文件之间来回切换,对于每个文件来说是顺序写入的,但是从全局看其实算随机写入,并且读取的时候也是一样,算随机读。而就一个文件的 RocketMQ 就没这

个问题。

从发送消息来说 RocketMQ 用到了 mmap + write 的方式,并且通过预热来减少大文件 mmap 因为缺页中断产生的性能问题。而 Kafka 则用了 sendfile,相对而言我觉得 kafka 发送的效率更高,因为少了

全站分卷索引 · 73 卷
  1. 1什么是消息队列
  2. 2服务解耦
  3. 3注意
  4. 4小结一下
  5. 5如何保证消息不丢失
  6. 6存储消息
  7. 7如果处理重复消息
  8. 8如何保证消息的有序性
  9. 9最后
  10. 10正确的回答姿势
  11. 11小结一下面试技巧
  12. 12面试官想问的是什么
  13. 13消息队列设计成推消息还是拉消息?RocketMQ和Kafka是怎么做的?
  14. 14拉模式
  15. 15长轮询
  16. 16Kafka 中的长轮询
  17. 17小结一下
  18. 18消息队列之事务消息?RocketMQ和Kafka是怎么做的?
  19. 19分布式事务
  20. 20RocketMQ 事务消息
  21. 21RocketMQ 事务消息源码分析
  22. 22Kafka 事务消息
  23. 23最后
  24. 24那 qmq 怎么做的呢?
  25. 25再来看 RocketMQ 和 QMQ
  26. 26最后
  27. 27Kafka 系列
  28. 28entrySize
  29. 29从Kafka的索引冷热分区到MySQL InnoDB的缓冲池管理
  30. 30Kafka日志段如何读写解析?
  31. 31以下为日志的定义
  32. 32日志段的读取
  33. 33情景剧
  34. 34简单说下ZooKeeper
  35. 35Controller 底层事件模型
  36. 36LeaderAndIsrRequest
  37. 37Controller选举流程源码分析
  38. 38ControllerEventManager:事件处理器
  39. 39KafkaController#process
  40. 40ControllerContext:元数据
  41. 41最后
  42. 42Reactor模式
  43. 43Kafka Broker 网络通信模型
  44. 44源码级别剖析网络通信模型
  45. 45请求处理优先级
  46. 46Kafka为什么要抛弃Zookeeper?
  47. 47那为什么要抛弃 ZooKeeper
  48. 48所以没了 Zookeeper 之后的 Kafka 的怎样的?
  49. 49最后
  50. 50RocketMQ 整体架构设计
  51. 51NameServer
  52. 52Producer 发消息流程
  53. 53自动创建主题的弊端
  54. 54Broker 的存储
  55. 55消息刷盘机制
  56. 56文件预分配和文件预热
  57. 57Consumer
  58. 58一些注意点
  59. 59Linux内核参数
  60. 60Kafka和RocketMQ底层存储揭秘,为什么能这么快?
  61. 61sendfile-零拷贝
  62. 62RocketMQ 和 Kafka 的应用
  63. 63文件预分配
  64. 64RocketMQ 小结
  65. 65RocketMQ & Kafka 对比
  66. 66番外篇:定时任务的终极实现--时间轮,在Netty和Kafka中如何应用的?为什么不用Timer、延时线程池?
  67. 67小结一下
  68. 68小结一下
  69. 69小结一下
  70. 70Netty中的时间轮
  71. 71小结一下
  72. 72小结一下
  73. 73总结