结论先行:分库分表是"最后手段"而不是"第一反应"——先归档、先读写分离、先缓存,数据量与写入 QPS 确实顶不住了再拆。一旦拆了,跨分片查询、分布式事务、扩容这三座山会伴随系统终生;所以动手前想清楚分片键和扩容方案,是整个决策里性价比最高的投入。

什么时候该拆

经验阈值可以参考,但不是死线:

  • 单表 B+ 树涨到 4 层(经验上 2000 万~5000 万行,取决于行宽),查询明显变慢;
  • 单实例磁盘扛不住全量数据、缓冲池命中率持续下滑;
  • 写入 QPS 到达单实例瓶颈(经验值数千),主从只能分摊读、解决不了写。

三个信号里最容易被误读的是第一个:行数超了两千万不代表必须拆——短行宽的表五六千万行照样健康,真正的判据是"树高变 4 之后,核心查询的延迟与 IO 成本是否可接受"。反过来,行数没到但行宽极大(一行几 KB、大字段塞在表里)的表,可能一千万行就该拆了。

写入瓶颈的判定要区分两类负载:读放大可以用从库和缓存吸收,写放大只能靠更快的盘或分片。判断"写"是否到顶,看三个指标:磁盘的写延迟与 util、redo log 刷盘等待、以及缓冲池脏页比例(innodb_max_dirty_pages_pct 触发激进刷脏的频率)。写入 QPS 数字本身不可靠——批量小事务与批量合并写入的吞吐可以差一个数量级,判定瓶颈要回到物理资源上。

动手前先穷尽"不拆"的手段:冷热分离归档历史数据(往往砍掉七成以上)、读写分离分摊读压力、大字段拆出独立表、极热数据上缓存。归档的成本是拆库的零头:建一张同构历史表加定时迁移任务,主表瘦身立竿见影,而且完全可逆。很多团队是在归档做完之后发现"拆"这个需求自己消失了。归档方案还有个容易漏掉的细节:历史表也要有索引设计和容量上限,否则只是把大表问题延后到历史表上——历史数据查询少但不是没有,商家查历史订单的入口必须保留,否则归档就变成了丢数据。

拆分维度:分片键决定一切

选分片键只有一条原则:让八成以上的高频查询不需要跨分片。

  • 订单表按 user_id 拆:C 端"查我的订单"全部单分片命中,但商家按订单号查就跨分片;
  • 解决办法是基因法:让 order_id 携带 user_id 的特征位,或建 order_id → user_id 的映射表,两种维度都能路由到同一分片;
  • 千万别选"查询条件里根本不会出现"的字段做分片键,那等于每次全分片广播。

分片键一旦确定就几乎不可更改——所有存量数据的路由都由它决定,改分片键等于重做一遍分库分表。所以评审分片键时,要把系统未来一年内已知的查询模式全部列出来逐条核对:有没有运营后台的全表导出?有没有按商家、按审核状态、按时间段的查询?这些查询要么路由到分片键上,要么明确走外置检索,不要留给中间件硬扛。

-- 错误姿势:条件不带分片键,中间件广播到所有分片、内存归并
-- 分片数越多越慢,等于把一次单表全扫放大成 N 次全扫
SELECT * FROM orders WHERE status = 1 AND created_at > '2026-01-01';

-- 正确姿势:条件带分片键 user_id,路由到单分片
SELECT * FROM orders
WHERE user_id = 9527 AND status = 1 AND created_at > '2026-01-01';

分片算法

算法数据分布扩容成本热点风险适合场景
hash 取模均匀高:大面积迁移低分片数一步到位不再扩
range 按区间按范围集中低:只加新分片高:新数据全在最新分片日志、归档类时序数据
一致性 hash相对均匀中:只迁移相邻环段低分片数会逐步增长的系统
预分组(逻辑分片)均匀低:只迁移部分组低多数业务系统的实际选择

预分组的思路是把"物理分片数"和"逻辑分片数"解耦:先按 hash 切成 1024 个逻辑组,再把逻辑组映射到当下的物理库。扩容时只搬迁部分逻辑组,路由表改一下映射即可,业务无感。多数团队的实际选择是它或一致性 hash。

拆分后必须面对的问题

-- 分布式 ID:分片后各表自增必然冲突,改用雪花 ID(趋势递增,对 B+ 树友好)
-- 基因法示例:让 order_id 末 2 位携带 user_id 末 2 位
-- user_id = 9527 → 路由到 27 号分片;按 user_id 查与按 order_id 查落到同一分片
SELECT * FROM orders_27 WHERE order_id = 2026072112345627;

基因法的生成端在应用层,Java 实现只需要按位覆盖:

public long genOrderId(long userId, long snowflakeId) {
    int shardBits = 10;                        // 预留 1024 个逻辑分片
    long gene = userId & ((1 << shardBits) - 1); // 取 user_id 低 10 位作为分片基因
    long mask = ((1L << shardBits) - 1);
    return (snowflakeId & ~mask) | gene;       // 覆盖 order_id 低 10 位
}
// 按 order_id 查询时:orderId & mask 即分片位,与按 user_id 路由结果一致
  • 跨分片查询:聚合与排序要在内存归并,中间件(ShardingSphere-JDBC/Proxy)负责改写 SQL 并归并结果;性能敏感的复杂查询走 ES 或数仓外置,不要硬扛;
  • 跨分片分页的放大效应:LIMIT offset, n 会被改写成每个分片取 offset + n 行再归并,第 100 页意味着每分片都吐几千行进内存——深分页问题在分片架构里被放大 N 倍,产品层游标翻页 + 禁止跳页是唯一可持续的方案;
  • 分布式事务:跨分片强一致代价高,尽量设计成同分片本地事务,跨分片用消息表/事务消息做最终一致;
  • 扩容:翻倍扩容(一次迁移一半数据,成本最低)或一致性 hash;迁移期间双写 + 灰度切读,随时可回滚;
  • 运维:每个分片独立备份,DDL 要在所有分片执行,工具化流水线是刚需而不是可选项。

选型建议:绝大多数团队直接用 ShardingSphere,或评估云上分布式数据库(TiDB、PolarDB-X 等),自研分片中间件的成本远超想象。

一句话总结:拆之前穷尽单机手段,拆的时候把分片键和扩容方案一次想对——这两步决定你是"一次拆对",还是"年年翻新"。

生产案例

某交易系统在订单量破亿后启动分库分表,第一版方案按 order_id 哈希取模 16 库。上线两个月后问题暴露:商家后台的"查店铺订单"全部广播 16 库,高峰期聚合排序把中间件内存打满;更麻烦的是运营按天导出订单,跑一次广播查询就是一次全站抖动。团队被迫二次重构:分片键改为 user_id + 基因法,order_id 生成器改造时嵌入 user_id 特征位,商家维度查询整体迁到 ES(基于 binlog 同步),运营导出迁到数仓;扩容方案从哈希取模改为预分组——先切 1024 个逻辑组映射到当时的 16 库,为后续翻倍扩容留好路。整个重构耗时数月,比一次拆对的成本高出一个量级。这个案例在团队内部形成了硬性评审项:分库分表立项时,必须提交"全量查询模式清单 + 每条查询的路由归属",清单里任何一条不能归到单分片的,都要给出外置方案,否则不批。

检查清单

  • 立项前穷尽归档、读写分离、缓存、大字段外拆等单机手段
  • 分片键满足八成以上高频查询单分片命中,并附全量查询模式清单
  • 两种以上查询维度用基因法或映射表解决,不留广播查询
  • 分片算法选预分组或一致性 hash,为扩容预留路径
  • 分布式 ID 趋势递增(雪花 ID),并嵌入分片基因(如需要)
  • 跨分片强一致需求改为本地事务 + 消息表最终一致
  • 迁移方案支持双写、灰度切读、可回滚
  • 所有分片的 DDL、备份、监控纳入统一的工具化流水线