← 返回目录

消息积压如何处理

第 5 / 5 卷

因持续阻塞,就会导致队列中的消息堆积,直到队列存储消息达到上限。最早接收到的消息,可能就会成为死信,会被丢弃,这就是消息堆积问题

解决消息堆积

增加更多消费者,提高消费速度

提高单个消息者的处理能力, 在消费者内开启线程池加快消息处理速度

缺点: 消息太多就会开启太多新线程, cpu压力大

消息的顺序性

(该方案适合rabbitmq, rocketmq和kafka有所不同)

为什么要保证顺序

消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。

举例:

业务要对某个数据依次做插入->更新->删除操作,这个顺序必须是这样

如果在消费过程中,消息的顺序变成了删除->插入->更新,那么原本应该被删除的数据,就没有被删除,造成数据的不一致问题

出现顺序错乱的场景

一个queue => 多个consumer去消费

consumer从MQ里面读取数据是有序的,但是每个consumer的执行时间是不固定的,无法保证先读到消息的 consumer一定先完成操作

这样就会出现消息并没有按照顺序执行,造成数据顺序错误

图 5-1
图 5-1

保证消息的顺序消费

图 6-1
图 6-1

不同的消息中间件对消息顺序性的支持和实现方式有所不同,一些消息中间件如 Kafka、RocketMQ 在设计上就对消息顺序性有较好的支持

Kafka:通过分区和有序消费保证分区内消息顺序性,只要生产者将相关消息发送到同一个分区,消费者按顺序从该分区拉取消息,就能保证消息顺序。

RocketMQ:支持顺序消息,通过将消息发送到特定的队列,并确保消费者按照顺序从队列中获取消息来保证顺序性。在一些版本中,还提供了严格顺序消息和

普通顺序消息等不同级别,以满足不同业务场景需求。

全站分卷索引 · 5 卷
  1. 1MQ
  2. 2如何保证消息可靠性
  3. 3死信队列? 如何导致死信
  4. 4RabbitMQ使用TTL机制模拟延时队列
  5. 5消息积压如何处理