结论先行:复制延迟的根因基本就三个——大事务、从库单线程回放能力不足、从库自身负载高(读压力大或跑备份/DDL)。治理手段对应三件:拆小事务、开 WRITESET 并行复制、读写分离时感知延迟路由。Seconds_Behind_Master 只能当粗略信号,精确监控用 pt-heartbeat。
复制链路一分钟版
主库写 binlog,从库 IO 线程拉取写入 relay log,再由 SQL 线程回放。理解延迟的关键在于:主库提交是"多车道并行",从库回放(默认情况下)是"单车道串行",凡是回放速度低于生产速度的时刻,延迟就开始累积。8.0 默认 binlog 格式为 ROW,配合 GTID 可以唯一定位事务,主从切换不再需要人工找 binlog 位点:
-- 主库核心配置(my.cnf):
-- server_id 唯一;log_bin=ON;binlog_format=ROW;gtid_mode=ON;enforce_gtid_consistency=ON
-- 从库建立复制(8.0.22+ 新语法,旧命令为 CHANGE MASTER TO / START SLAVE)
CHANGE REPLICATION SOURCE TO
SOURCE_HOST = '10.0.0.1',
SOURCE_USER = 'repl',
SOURCE_PASSWORD = '******',
SOURCE_AUTO_POSITION = 1; -- GTID 自动定位位点
START REPLICA;
SHOW REPLICA STATUS\G -- 关注 Seconds_Behind_Master、Retrieved/Executed_Gtid_Set
判断延迟卡在哪一段有个实用技巧:对比 Retrieved_Gtid_Set 与 Executed_Gtid_Set 的差距——拉取很多、回放少,瓶颈在 SQL 线程(拆事务/并行复制);两者都停滞,瓶颈在主库或网络(查主库负载与带宽)。
对丢数据有极高要求的架构还有半同步的升级版:8.0 的 AFTER_SYNC(无损半同步)在主库提交前等待从库确认收到 binlog,即使主库在确认后立刻宕机,新事务也已在从库 relay log 里,切换后不丢;老语义 AFTER_COMMIT 则存在"主库提交成功但 binlog 未送达即宕机"的丢数据窗口。两者一字之差,语义差别是本质性的,配置时务必核对 rpl_semi_sync_master_wait_point。
延迟从哪来
- 大事务:SQL 线程回放一个事务必须整体执行,主库上跑 10 分钟的批处理,从库就晚 10 分钟可见。不带 where 的大
DELETE、一次性几十万行的批量UPDATE是最经典的翻车现场。 - 单线程回放:主库多并发写入,从库单 SQL 线程串行消费,吞吐天然低一截。延迟的累积曲线通常与主库写入高峰高度重合,就是这个原因。
- 从库额外负载:只读从库被塞满分析查询、备份任务、大 DDL,回放资源被挤占。备份尤其隐蔽:xtrabackup 备份期间 CPU 与 IO 双高,回放线程排不上队。
- 异步复制的固有窗口:主库提交成功到 binlog 到达从库之间本来就有间隙,半同步只是缓解,不能消除。
判断是哪一类成因,还有个时间维度技巧:延迟曲线的形态本身就是证据。与主库写入高峰同步起伏的是回放能力不足;与某个定时任务执行时刻吻合的是大事务;持续缓慢上涨不回落的是从库磁盘或回放线程卡死;瞬间归零又跳升的是网络抖动或主从切换。拿到延迟告警先看曲线形状,再去翻日志,排查顺序就对了。
治理手段
大事务拆分
延迟的第一凶手永远是大事务,先处理它,多数场景就够用了:
-- 错误写法:一条 DELETE 干掉 3000 万行过期数据
-- 主库执行十几分钟,从库单线程回放同样十几分钟,期间延迟直接拉满
DELETE FROM orders WHERE created_at < '2024-01-01';
-- 正确写法:按主键分批删除,每批 2000 行,应用层循环执行并记录位点
-- 主库压力和从库回放压力都被摊平,延迟曲线保持平稳
DELETE FROM orders
WHERE id > :lastId AND id <= :lastId + 2000
AND created_at < '2024-01-01';
大表 DDL 同理:用 gh-ost 或 pt-online-schema-change,避免从库回放大 DDL 长时间阻塞后续事务。
并行复制
5.7 起支持基于 LOGICAL_CLOCK 的并行回放,8.0 推荐 WRITESET 依赖追踪,让无冲突事务在从库并行执行:
-- 从库开启并行回放
STOP REPLICA;
SET GLOBAL replica_parallel_type = 'LOGICAL_CLOCK';
SET GLOBAL replica_parallel_workers = 8;
SET GLOBAL replica_preserve_commit_order = ON;
START REPLICA;
-- 主库侧开启 WRITESET 依赖计算
SET GLOBAL binlog_transaction_dependency_tracking = 'WRITESET';
WRITESET 的原理值得了解:主库在 binlog 里记录每个事务触碰了哪些行,从库据此判断事务间有没有冲突,无冲突的就并行回放。参数 transaction_write_set_extraction=XXHASH64 是它的前置条件(8.0 默认开启)。replica_preserve_commit_order=ON 保证从库提交顺序与主库一致,读写分离场景读不到"乱序的历史"。
监控:别迷信 Seconds_Behind_Master
Seconds_Behind_Master 的计算是 SQL 线程当前执行的事件时间戳与主库当前时间的差值,有几个著名盲区:IO 线程断掉时它可能显示 0;主库写入稀疏的深夜它无法反映真实水位;时钟不同步时直接失真。精确方案是 pt-heartbeat:主库定时把心跳写入一张表,从库读这条记录的时间差就是真实延迟。
-- pt-heartbeat 原理的手工版:主库定时执行,从库读 time_diff
-- 主库:每秒更新一次心跳(pt-heartbeat --update)
REPLACE INTO heartbeat(id, ts) VALUES(1, NOW(3));
-- 从库:计算延迟毫秒数(pt-heartbeat --monitor)
SELECT TIMESTAMPDIFF(MICROSECOND, ts, NOW(3)) / 1000 AS lag_ms
FROM heartbeat WHERE id = 1;
告警策略同样分级:延迟超过 3 秒通知值班,超过 30 秒升级,延迟恢复后要求回看期间是否有"读从库读到旧数据"的业务反馈。
三种监控手段的定位差异值得列清楚,别让粗略信号顶替精确告警:
| 监控方式 | 精度 | 主要盲区 | 适用位置 |
|---|---|---|---|
| Seconds_Behind_Master | 秒级 | IO 线程断开时可能显示 0;依赖主从时钟同步 | 粗略巡检 |
| pt-heartbeat | 毫秒级 | 需额外部署与心跳表 | 精确告警与容量评估 |
| Retrieved vs Executed Gtid_Set | 事务数 | 不带时间语义 | 定位积压发生在哪一段 |
从库自身的稳定性参数也在监控范围内:relay_log_recovery=ON 保证崩溃后丢弃未回放的 relay log 重新拉取,避免位点错乱;replica_net_timeout 控制断连判定;磁盘满导致 relay log 写入失败是"延迟突增且不恢复"的经典根因,磁盘水位告警要覆盖从库。
业务侧兜底
读写分离框架做"延迟感知":延迟超过阈值时,把该用户的读请求临时路由到主库;“写后立读"的场景强制走主库。对账类、报表类查询容忍秒级延迟走从库,不要为它们上强同步拖累主库写入。
对丢数据敏感的场景可用半同步复制(rpl_semi_sync_*):binlog 至少送达一个从库才向客户端返回提交成功,代价是提交 RTT 增加,且要理解超时退化为异步的机制——退化期间恰恰是最危险的时间窗口,Rpl_semi_sync_master_status 变成 OFF 时必须有告警。
一句话总结:延迟不是复制"坏了”,而是回放速度跟不上生产速度;要么降低生产速度(拆事务),要么提高回放能力(并行复制),要么让业务绕开延迟窗口(路由策略)。
生产案例
某次运营活动前夜,值班群收到从库延迟告警,Seconds_Behind_Master 从个位数一路爬到分钟级,读流量开始读到几小时前的旧订单。排查链路分三步:先看 SHOW REPLICA STATUS,Retrieved 远大于 Executed,确认瓶颈在 SQL 线程回放;再查主库慢日志,发现运营侧一条不分批的 UPDATE 正在给几百万行历史订单批量打活动标记,主库执行近二十分钟,从库只能串行跟跑。应急动作是让运营任务暂停、等延迟归零后按 id 分段重跑;根治动作有三件:给该团队的任务平台接入"单语句影响行数超过阈值直接拒绝"的护栏,所有批量任务强制分批模板;从库开启 WRITESET 并行复制,把回放吞吐提上来;读写分离中间件加延迟感知路由,延迟超阈值自动把相关用户读流量切回主库。之后同类批量任务再没触发过告警。这次事故的核心教训是:复制延迟从来不是 DBA 单方面的问题,批量任务的写入方式在业务代码里就已经决定了延迟曲线。
检查清单
- 所有批量增删改任务按主键分批(每批几千行),禁止一条语句处理百万级数据
- 从库开启 LOGICAL_CLOCK 并行复制,主库开启 WRITESET 依赖追踪
- 延迟监控用 pt-heartbeat,Seconds_Behind_Master 只作粗略信号
- 读写分离框架支持延迟感知路由与写后立读强制走主库
- 半同步退化为异步(Rpl_semi_sync_master_status=OFF)配置告警
- 大表 DDL 一律走 gh-ost / pt-osc,不在从库直接执行
- 定期核对 Retrieved 与 Executed Gtid_Set 差距,确认回放无积压