分库分表如何平滑过渡?

大彬
大约 4 分钟

分库分表概述

在业务量不大时,单库单表即可支撑。

当数据量过大存储不下、或者并发量过大负荷不起时,就要考虑分库分表。

1.1 分库分表相关术语

  • 读写分离: 不同的数据库,同步相同的数据,分别只负责数据的读和写;
  • 分区: 指定分区列表达式,把记录拆分到不同的区域中(必须是同一服务器,可以是不同硬盘),应用看来还是同一张表,没有变化;
  • 分库:一个系统的多张数据表,存储到多个数据库实例中;
  • 分表: 对于一张多行(记录)多列(字段)的二维数据表,又分两种情形:
  • (1) 垂直分表: 竖向切分,不同分表存储不同的字段,可以把不常用或者大容量、或者不同业务的字段拆分出去;
  • (2) 水平分表: 横向切分,按照特定分片算法,不同分表存储不同的记录。

1.2 真的要采用分库分表?

需要注意的是,分库分表会为数据库维护和业务逻辑带来一系列复杂性和性能损耗,除非预估的业务量大到万不得已,切莫过度设计、过早优化

规划期内的数据量和性能问题,尝试能否用下列方式解决:

  • 当前数据量:如果没有达到几百万,通常无需分库分表;
  • 数据量问题:增加磁盘、增加分库(不同的业务功能表,整表拆分至不同的数据库);
  • 性能问题:升级CPU/内存、读写分离、优化数据库系统配置、优化数据表/索引、优化 SQL、分区、数据表的垂直切分;
  • 如果仍未能奏效,才考虑最复杂的方案:数据表的水平切分。

分库分表如何平滑过渡?

现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分表上?

单库单表的系统给迁移到分库分表,有以下方案:

停机迁移方案

最简单但是有点 low 的方案,在网站或者 app 挂个公告,说凌晨某个时间段进行维护,无法访问。

接着到了时间点了就停机,系统停掉,没有流量写入了,此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具,将单库单表的数据读出来,写到分库分表里面去。

导数完了之后,修改系统的数据库连接配置等,然后启动系统连到新的分库分表上去。

具体流程图如下:

双写迁移方案

这个比较常用的一种迁移方案,不用停机。

简单来说,就是在线上系统里面,之前所有写库的地方,增删改操作,除了对老库增删改,都加上对新库的增删改,这就是所谓的双写,同时写俩库,老库和新库。

然后系统部署之后,新库数据差太远,用之前说的导数工具,跑起来读老库数据写新库,写的时候要去判断这条数据最后修改的时间,除非是读出来的数据在新库里没有,或者是比新库的数据新才会写。简单来说,就是不允许用老数据覆盖新数据。

导完一轮之后,有可能数据还是存在不一致,那么就用脚本自动做一轮校验,比对新老库每个表的每条数据,接着如果有不一样的,就针对那些不一样的,从老库读数据再次写。反复循环,直到两个库每个表的数据都完全一致为止。

当数据完全一致了之后,所有机器使用分库分表的最新代码重新部署一次,此时就完成迁移了。

Loading...