← 返回目录

分库分表如何平滑过渡?

第 27 / 72 卷日期:

面试题剖析

停机迁移方案

我先给你说一个最 low 的方案,就是很简单,大家伙儿凌晨 12 点开始运维,网站或者 app 挂个公告,说 0 点到早上 6 点进行运维,无法访问。

接着到 0 点停机,系统停掉,没有流量写入了,此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具,此时直接跑起来,然后将单库单表的数据哗哗哗读出来,写

到分库分表里面去。

导数完了之后,就 ok 了,修改系统的数据库连接配置啥的,包括可能代码和 SQL 也许有修改,那你就用最新的代码,然后直接启动连到新的分库分表上去。

验证一下,ok了,完美,大家伸个懒腰,看看看凌晨 4 点钟的北京夜景,打个滴滴回家吧。

但是这个方案比较 low,谁都能干,我们来看看高大上一点的方案。

图 91-1
图 91-1

双写迁移方案

然后系统部署之后,新库数据差太远,用之前说的导数工具,跑起来读老库数据写新库,写的时候要根据 gmt_modified 这类字段判断这条数据最后修改的时间,除非是读出来的数据在新库

里没有,或者是比新库的数据新才会写。简单来说,就是不允许用老数据覆盖新数据。

导完一轮之后,有可能数据还是存在不一致,那么就程序自动做一轮校验,比对新老库每个表的每条数据,接着如果有不一样的,就针对那些不一样的,从老库读数据再次写。反复循环,

直到两个库每个表的数据都完全一致为止。

接着当数据完全一致了,就 ok 了,基于仅仅使用分库分表的最新代码,重新部署一次,不就仅仅基于分库分表在操作了么,还没有几个小时的停机时间,很稳。所以现在基本玩儿数据迁

移之类的,都是这么干的。

图 92-1
图 92-1

面试题

全站分卷索引 · 72 卷
  1. 1互联网 Java 工程师进阶知识完全扫盲
  2. 2为什么使用消息队列?
  3. 3如何保证消息队列的高可用?
  4. 4如何保证消息不被重复消费?
  5. 5如何保证消息的可靠性传输?
  6. 6如何保证消息的顺序性?
  7. 7如何解决消息队列的延时以及过期失效问题?
  8. 8如何设计一个消息队列?
  9. 9搜索引擎
  10. 10ES 的分布式架构原理是什么?
  11. 11ES 写入数据的工作原理是什么?
  12. 12ES 在数十亿级别数量下如何提高查询效率?
  13. 13ES 生产集群的部署架构是什么?
  14. 14缓存
  15. 15Redis 和 Memcached 有什么区别?
  16. 16Redis 都有哪些数据类型以及适用场景?
  17. 17Redis 的过期策略都有哪些?
  18. 18如何保证 Redis 高并发、高可用?
  19. 19Redis 主从架构是怎样的?
  20. 20Redis 的持久化有哪几种方式?
  21. 21Redis 如何基于哨兵集群实现高可用?
  22. 22Redis 集群模式的工作原理能说一下么?
  23. 23Redis 的雪崩、穿透和击穿,如何应对?
  24. 24如何保证缓存与数据库双写一致性?
  25. 25如何解决 Redis 的并发竞争问题?
  26. 26生产环境中的 Redis 是怎么部署的?
  27. 27分库分表如何平滑过渡?
  28. 28设计一个动态扩容缩容的分库分表方案?
  29. 29分库分表之后,id 主键如何处理?
  30. 30读写分离
  31. 31高并发系统
  32. 32分布式系统
  33. 33系统拆分
  34. 34分布式服务框架
  35. 35Dubbo 支持哪些序列化协议?
  36. 36Dubbo 负载均衡策略和集群容错策略?
  37. 37Dubbo 的 SPI 思想是什么?
  38. 38如何基于 Dubbo 进行服务治理?
  39. 39分布式服务接口的幂等性如何设计?
  40. 40分布式服务接口请求的顺序性如何保证?
  41. 41如何自己设计一个类似 Dubbo 的 RPC 框架?
  42. 42CAP 定理的 P 是什么?
  43. 43分布式锁
  44. 44分布式锁如何设计?
  45. 45分布式事务
  46. 46分布式会话
  47. 47高可用架构
  48. 48电商网站详情页系统架构
  49. 49Hystrix 线程池技术实现资源隔离
  50. 50Hystrix 信号量机制实现资源隔离
  51. 51Hystrix 隔离策略细粒度控制
  52. 52深入 Hystrix 执行时内部原理
  53. 53基于 request cache 请求缓存技术优化批量商品数据查询接口
  54. 54基于本地缓存的 fallback 降级机制
  55. 55深入 Hystrix 断路器执行原理
  56. 56深入 Hystrix 线程池隔离与接口限流
  57. 57基于 timeout 机制为服务接口调用超时提供安全保护
  58. 58限流
  59. 59熔断
  60. 60微服务架构
  61. 61从单体式架构迁移到微服务架构
  62. 62微服务的事件驱动数据管理
  63. 63选择微服务部署策略
  64. 64Spring Cloud微服务架构
  65. 65你所知道的微服务技术栈都有哪些?
  66. 66谈谈服务发现组件 Eureka 的主要调用过程?
  67. 67海量数据处理
  68. 68如何找出某一天访问百度网站最多的 IP?
  69. 69如何在大量的数据中找出不重复的整数?
  70. 70如何在大量的数据中判断一个数是否存在?
  71. 71如何统计不同电话号码的个数?
  72. 72如何按照 query 的频度排序?