我们在对 CCR 下游集群进行 BE 缩容时遇到同步延迟持续增大的问题,想请教是否属于已知问题,以及有没有推荐的在线缩容方案。
一、运行环境
- Doris 版本:selectdb-doris-2.1.8-3-381787f839
- ccr-syncer 版本:2.1.10-rc08:0a9434c
- 部署方式:两个独立 Doris 集群,分别作为 master(源集群)和 slave(目标集群),通过 CCR 同步
- 使用情况:两个集群均已在线上使用
- 本次操作:slave 集群从 20 台 BE 缩容至 19 台,只下线其中 1 台 BE
以上现象是在当前 SelectDB 发行版环境中观察到的,尚未在原生 Apache Doris 上独立复现。
二、问题现象
对 slave 集群发起单台 BE 缩容后,CCR lag 持续增大;取消该 BE 的缩容操作后,CCR 同步恢复,lag 回落。
操作状态 CCR 表现
slave 集群进行单台 BE 缩容 lag 持续增大
取消该 BE 的缩容操作 同步恢复,lag 回落
目前没有完成这台 BE 的缩容,因此尚不清楚迁移全部完成后,lag 是否能够自行恢复。
三、操作过程
- slave 集群原有 20 台 BE。
- 对其中 1 台 BE 发起缩容,计划缩至 19 台。
- 缩容过程中观察到 CCR lag 持续增大。
- 取消该 BE 的缩容操作。
- 取消后 CCR 同步恢复,lag 回落。
目前能够确认问题与缩容过程相关,但尚未确定是迁移造成的资源争用,还是迁移期间的副本状态变化影响了 CCR 同步。