缓存与数据库一致性的问题
缓存与数据库一致性的问题
(这是一个常考且比较复杂的问题, 这里只给出解决方案, 具体可以查看网上博客文章)
先更新数据库,后更新缓存(不推荐)
1.操作失败的情况:
如果数据库更新成功,缓存更新失败,那么此时数据库中是新值,缓存中是旧值. 出现不一致
2.高并发的情况:
假设现在有线程A和线程B同时要进行更新操作,那么可能会这样:
(1)线程A更新了数据库;
(2)线程B更新了数据库;
(3)线程B更新了缓存;
(4)线程A更新了缓存;
此时数据库是线程B更新的值, 缓存中是线程A的旧值. 出现不一致
先删除缓存,后更新数据库 (不推荐)
高并发的情况下会出问题
假设同时有一个请求A进行更新操作,另一个请求B进行查询操作。那么可能会这样:
(1)请求A进行写操作,删除缓存;
(2)请求B查询发现缓存不存在;
(3)请求B去数据库查询得到旧值;
(4)请求B将旧值写入缓存;
(5)请求A将新值写入数据库;
缓存和数据库不一致
读写分离场景, 可能产生问题如下
一个请求A进行更新操作,另一个请求B进行查询操作。
(1)请求A进行写操作,删除缓存;
(2)请求A将数据写入数据库了;
(3)请求B查询缓存发现,缓存没有值;
(4)请求B去从库查询,这时还没有完成主从同步,因此查询到的是旧值;
(5)请求B将旧值写入缓存;
(6)数据库完成主从同步,从库变为新值;
出现缓存不一致
延迟删除缓存的时间到底设置要多久才合适呢?
问题1:延迟时间要大于「主从复制」的延迟时间
问题2:延迟时间要大于线程 B 读取数据库 + 写入缓存的时间
但是,这个时间在分布式和高并发场景下,其实是很难评估的。
很多时候,我们都是凭借经验大致估算这个延迟时间,例如延迟 1-5s,只能尽可能地降低不一致的概率。
采用这种方案,也只是尽可能保证一致性而已,极端情况下,还是有可能发生不一致。
先更新数据库,后删除缓存(配合mq/监听binlog重试才推荐)
1.操作失败的情况:
如果数据库更新成功,缓存删除失败。用户读取数据时会先从缓存中读取,而缓存中存储的是旧的数据。出现不一致
2.高并发的情况:
一个请求A做查询操作,一个请求B做更新操作。
(4)请求B删除缓存;
(5)请求A将查到的旧值写入缓存;
这种情况下确实也会产生脏数据,不过这种情况发生的概率是很小的。为什么呢?
要出现以上情况,步骤(3)的写数据库操作比步骤(2)的读数据库操作耗时更短,才有可能使得步骤(4)先于步骤(5)。但是写操作基本不会快于读操作, 所以出现
不一致的概率很低.
那么如何解决由操作失败导致的不一致性呢?重试!
消息队列重试
订阅binlog日志重试
mq重试(推荐)
先更新数据库,后删除缓存. 将删除缓存的操作放入mq中.
更新数据库, 发mq消息, mq接受到消息后, 异步删除缓存. 删除失败可以重试. mq可以保证消息可靠性.
消息队列保证可靠性:写到队列中的消息,成功消费之前不会丢失(重启项目也不担心)
消息队列保证消息成功投递:下游从队列拉取消息,成功消费后才会删除消息,否则还会继续投递消息给消费者(符合重试的需求)
binlog重试(推荐)
使用类似于阿里的 canal的中间件, 监听mysql binlog. 更新数据库后, 监听到binlog变化, 删除缓存.
这种方案的优点在于:
无需考虑写消息队列失败情况:只要写 MySQL 成功,Binlog 肯定会有
binlog订阅者(消费者)直接获取变更的数据,然后删除缓存。