← 返回目录

分布式事务

第 45 / 72 卷日期:

super( );e

}

}

}

redis分布式锁和zk分布式锁的对比

redis 分布式锁,其实需要自己不断去尝试获取锁,比较消耗性能。

zk 分布式锁,获取不到锁,注册个监听器即可,不需要不断主动尝试获取锁,性能开销较小。

另外一点就是,如果是 Redis 获取锁的那个客户端出现 bug 挂了,那么只能等待超时时间之后才能释放锁;而 zk 的话,因为创建的是临时 znode,只要客户端挂了,znode 就没了,此时就

自动释放锁。

Redis 分布式锁大家没发现好麻烦吗?遍历上锁,计算时间等等......zk 的分布式锁语义清晰实现简单。

所以先不分析太多的东西,就说这两点,我个人实践认为 zk 的分布式锁比 Redis 的分布式锁牢靠、而且模型简单易用。

面试题

分布式事务了解吗?你们是如何解决分布式事务问题的?

面试官心理分析

只要聊到你做了分布式系统,必问分布式事务,你对分布式事务一无所知的话,确实会很坑,你起码得知道有哪些方案,一般怎么来做,每个方案的优缺点是什么。

现在面试,分布式系统成了标配,而分布式系统带来的分布式事务也成了标配了。因为你做系统肯定要用事务吧,如果是分布式系统,肯定要用分布式事务吧。先不说你搞过没有,起码你

面试题剖析

XA 方案 TCC 方案

SAGA 方案本地消息表

可靠消息最终一致性方案最大努力通知方案

两阶段提交方案/XA方案

所谓的 XA 方案,即:两阶段提交,有一个事务管理器的概念,负责协调多个数据库(资源管理器)的事务,事务管理器先问问各个数据库你准备好了吗?如果每个数据库都回复 ok,那么

就正式提交事务,在各个数据库上执行操作;如果任何其中一个数据库回答不 ok,那么就回滚事务。

这种分布式事务方案,比较适合单块应用里,跨多个库的分布式事务,而且因为严重依赖于数据库层面来搞定复杂的事务,效率很低,绝对不适合高并发的场景。如果要玩儿,那么基于

Spring + JTA 就可以搞定,自己随便搜个 demo 看看就知道了。

这个方案,我们很少用,一般来说某个系统内部如果出现跨多个库的这么一个操作,是不合规的。我可以给大家介绍一下,现在微服务,一个大的系统分成几十个甚至几百个服务。一般

来说,我们的规定和规范,是要求每个服务只能操作自己对应的一个数据库。

如果你要操作别的服务对应的库,不允许直连别的服务的库,违反微服务架构的规范,你随便交叉胡乱访问,几百个服务的话,全体乱套,这样的一套服务是没法管理的,没法治理的,可

能会出现数据被别人改错,自己的库被别人写挂等情况。

如果你要操作别人的服务的库,你必须是通过调用别的服务的接口来实现,绝对不允许交叉访问别人的数据库。

图 144-1
图 144-1

TCC方案

TCC 的全称是: Try、 Confirm、 Cancel。

Try 阶段:这个阶段说的是对各个服务的资源做检测以及对资源进行锁定或者预留。

Confirm 阶段:这个阶段说的是在各个服务中执行实际的操作。

Cancel 阶段:如果任何一个服务的业务方法执行出错,那么这里就需要进行补偿,就是执行已经执行成功的业务逻辑的回滚操作。(把那些执行成功的回滚)

这种方案说实话几乎很少人使用,我们用的也比较少,但是也有使用的场景。因为这个事务回滚实际上是严重依赖于你自己写代码来回滚和补偿了,会造成补偿代码巨大,非常之恶心。

比如说我们,一般来说跟钱相关的,跟钱打交道的,支付、交易相关的场景,我们会用 TCC,严格保证分布式事务要么全部成功,要么全部自动回滚,严格保证资金的正确性,保证在资金

上不会出现问题。

而且最好是你的各个业务执行的时间都比较短。

但是说实话,一般尽量别这么搞,自己手写回滚逻辑,或者是补偿逻辑,实在太恶心了,那个业务代码是很难维护的。

图 145-1
图 145-1

Saga方案

金融核心等业务可能会选择 TCC 方案,以追求强一致性和更高的并发量,而对于更多的金融核心以上的业务系统往往会选择补偿事务,补偿事务处理在 30 多年前就提出了 Saga 理论,随着

微服务的发展,近些年才逐步受到大家的关注。目前业界比较公认的是采用 Saga 作为长事务的解决方案。

基本原理

业务流程中每个参与者都提交本地事务,若某一个参与者失败,则补偿前面已经成功的参与者。下图左侧是正常的事务流程,当执行到 T3 时发生了错误,则开始执行右边的事务补偿流

程,反向执行 T3、T2、T1 的补偿服务 C3、C2、C1,将 T3、T2、T1 已经修改的数据补偿掉。

图 146-1
图 146-1

使用场景

对于一致性要求高、短流程、并发高的场景,如:金融核心系统,会优先考虑 TCC 方案。而在另外一些场景下,我们并不需要这么强的一致性,只需要保证最终一致性即可。

比如很多金融核心以上的业务(渠道层、产品层、系统集成层),这些系统的特点是最终一致即可、流程多、流程长、还可能要调用其它公司的服务。这种情况如果选择 TCC 方案开发的

话,一来成本高,二来无法要求其它公司的服务也遵循 TCC 模式。同时流程长,事务边界太长,加锁时间长,也会影响并发性能。

所以 Saga 模式的适用场景是:

业务流程长、业务流程多;

参与者包含其它公司或遗留系统服务,无法提供 TCC 模式要求的三个接口。

优势

一阶段提交本地事务,无锁,高性能;

参与者可异步执行,高吞吐;

缺点

本地消息表

本地消息表其实是国外的 ebay 搞出来的这么一套思想。

这个大概意思是这样的:

  1. A 系统在自己本地一个事务里操作同时,插入一条数据到消息表;
  2. 接着 A 系统将这个消息发送到 MQ 中去;
  3. B 系统接收到消息之后,在一个事务里,往自己本地消息表里插入一条数据,同时执行其他

的业务操作,如果这个消息已经被处理过了,那么此时这个事务会回滚,这样保证不会重复处理消息;

  1. B 系统执行成功之后,就会更新自己本地消息表的状态以及 A 系统消息表的状态;
  2. 如果 B 系统处理失败了,那么就不会更新消息表状态,那么此时 A 系统会定时扫描自己的

消息表,如果有未处理的消息,会再次发送到 MQ 中去,让 B 再次处理;

  1. 这个方案保证了最终一致性,哪怕 B 事务失败了,但是 A 会不断重发消息,直到 B 那边成

功为止。

这个方案说实话最大的问题就在于严重依赖于数据库的消息表来管理事务啥的,如果是高并发场景咋办呢?咋扩展呢?所以一般确实很少用。

图 147-1
图 147-1

可靠消息最终一致性方案

这个的意思,就是干脆不要用本地的消息表了,直接基于 MQ 来实现事务。比如阿里的 RocketMQ 就支持消息事务。

  1. 如果发送了确认消息,那么此时 B 系统会接收到确认消息,然后执行本地的事务;
  2. mq 会自动定时轮询所有 prepared 消息回调你的接口,问你,这个消息是不是本地事务处

理失败了,所有没发送确认的消息,是继续重试还是回滚?一般来说这里你就可以查下数据库看之前本地事务是否执行,如果回滚了,那么这里也回滚吧。这个就是避免可能本地

事务执行成功了,而确认消息却发送失败了。

  1. 这个方案里,要是系统 B 的事务失败了咋办?重试咯,自动不断重试直到成功,如果实在

是不行,要么就是针对重要的资金类业务进行回滚,比如 B 系统本地回滚后,想办法通知系统 A 也回滚;或者是发送报警由人工来手工回滚和补偿。

  1. 这个还是比较合适的,目前国内互联网公司大都是这么玩儿的,要不你就用 RocketMQ 支持

的,要不你就自己基于类似 ActiveMQ?RabbitMQ?自己封装一套类似的逻辑出来,总之思路就是这样子的。

图 148-1
图 148-1

最大努力通知方案

这个方案的大致意思就是:

  1. 系统 A 本地事务执行完之后,发送个消息到 MQ;
  2. 这里会有个专门消费 MQ 的最大努力通知服务,这个服务会消费 MQ 然后写入数据库中记

录下来,或者是放入个内存队列也可以,接着调用系统 B 的接口;

  1. 要是系统 B 执行成功就 ok 了;要是系统 B 执行失败了,那么最大努力通知服务就定时尝试

重新调用系统 B,反复 N 次,最后还是不行就放弃。

你们公司是如何处理分布式事务的?

全站分卷索引 · 72 卷
  1. 1互联网 Java 工程师进阶知识完全扫盲
  2. 2为什么使用消息队列?
  3. 3如何保证消息队列的高可用?
  4. 4如何保证消息不被重复消费?
  5. 5如何保证消息的可靠性传输?
  6. 6如何保证消息的顺序性?
  7. 7如何解决消息队列的延时以及过期失效问题?
  8. 8如何设计一个消息队列?
  9. 9搜索引擎
  10. 10ES 的分布式架构原理是什么?
  11. 11ES 写入数据的工作原理是什么?
  12. 12ES 在数十亿级别数量下如何提高查询效率?
  13. 13ES 生产集群的部署架构是什么?
  14. 14缓存
  15. 15Redis 和 Memcached 有什么区别?
  16. 16Redis 都有哪些数据类型以及适用场景?
  17. 17Redis 的过期策略都有哪些?
  18. 18如何保证 Redis 高并发、高可用?
  19. 19Redis 主从架构是怎样的?
  20. 20Redis 的持久化有哪几种方式?
  21. 21Redis 如何基于哨兵集群实现高可用?
  22. 22Redis 集群模式的工作原理能说一下么?
  23. 23Redis 的雪崩、穿透和击穿,如何应对?
  24. 24如何保证缓存与数据库双写一致性?
  25. 25如何解决 Redis 的并发竞争问题?
  26. 26生产环境中的 Redis 是怎么部署的?
  27. 27分库分表如何平滑过渡?
  28. 28设计一个动态扩容缩容的分库分表方案?
  29. 29分库分表之后,id 主键如何处理?
  30. 30读写分离
  31. 31高并发系统
  32. 32分布式系统
  33. 33系统拆分
  34. 34分布式服务框架
  35. 35Dubbo 支持哪些序列化协议?
  36. 36Dubbo 负载均衡策略和集群容错策略?
  37. 37Dubbo 的 SPI 思想是什么?
  38. 38如何基于 Dubbo 进行服务治理?
  39. 39分布式服务接口的幂等性如何设计?
  40. 40分布式服务接口请求的顺序性如何保证?
  41. 41如何自己设计一个类似 Dubbo 的 RPC 框架?
  42. 42CAP 定理的 P 是什么?
  43. 43分布式锁
  44. 44分布式锁如何设计?
  45. 45分布式事务
  46. 46分布式会话
  47. 47高可用架构
  48. 48电商网站详情页系统架构
  49. 49Hystrix 线程池技术实现资源隔离
  50. 50Hystrix 信号量机制实现资源隔离
  51. 51Hystrix 隔离策略细粒度控制
  52. 52深入 Hystrix 执行时内部原理
  53. 53基于 request cache 请求缓存技术优化批量商品数据查询接口
  54. 54基于本地缓存的 fallback 降级机制
  55. 55深入 Hystrix 断路器执行原理
  56. 56深入 Hystrix 线程池隔离与接口限流
  57. 57基于 timeout 机制为服务接口调用超时提供安全保护
  58. 58限流
  59. 59熔断
  60. 60微服务架构
  61. 61从单体式架构迁移到微服务架构
  62. 62微服务的事件驱动数据管理
  63. 63选择微服务部署策略
  64. 64Spring Cloud微服务架构
  65. 65你所知道的微服务技术栈都有哪些?
  66. 66谈谈服务发现组件 Eureka 的主要调用过程?
  67. 67海量数据处理
  68. 68如何找出某一天访问百度网站最多的 IP?
  69. 69如何在大量的数据中找出不重复的整数?
  70. 70如何在大量的数据中判断一个数是否存在?
  71. 71如何统计不同电话号码的个数?
  72. 72如何按照 query 的频度排序?