SelectDB Doris 2.1.8-3:CCR 下游集群 20 台 BE 缩容 1 台时 lag 持续增大,取消缩容后恢复

Viewed 33

我们在对 CCR 下游集群进行 BE 缩容时遇到同步延迟持续增大的问题,想请教是否属于已知问题,以及有没有推荐的在线缩容方案。
一、运行环境

  • Doris 版本:selectdb-doris-2.1.8-3-381787f839
  • ccr-syncer 版本:2.1.10-rc08:0a9434c
  • 部署方式:两个独立 Doris 集群,分别作为 master(源集群)和 slave(目标集群),通过 CCR 同步
  • 使用情况:两个集群均已在线上使用
  • 本次操作:slave 集群从 20 台 BE 缩容至 19 台,只下线其中 1 台 BE
    以上现象是在当前 SelectDB 发行版环境中观察到的,尚未在原生 Apache Doris 上独立复现。
    二、问题现象
    对 slave 集群发起单台 BE 缩容后,CCR lag 持续增大;取消该 BE 的缩容操作后,CCR 同步恢复,lag 回落。
    操作状态 CCR 表现
    slave 集群进行单台 BE 缩容 lag 持续增大
    取消该 BE 的缩容操作 同步恢复,lag 回落

目前没有完成这台 BE 的缩容,因此尚不清楚迁移全部完成后,lag 是否能够自行恢复。
三、操作过程

  1. slave 集群原有 20 台 BE。
  2. 对其中 1 台 BE 发起缩容,计划缩至 19 台。
  3. 缩容过程中观察到 CCR lag 持续增大。
  4. 取消该 BE 的缩容操作。
  5. 取消后 CCR 同步恢复,lag 回落。

目前能够确认问题与缩容过程相关,但尚未确定是迁移造成的资源争用,还是迁移期间的副本状态变化影响了 CCR 同步。

1 Answers

CCR这里的完整链路:syncer 从源集群拿 binlog → 在目标集群上 beginTxn → 对目标 tablet 所在 BE 发 ingest_binlog → commitTxn。
但是BE 在 DECOMMISSION 期间副本状态会有变化,对 CCR 来说,ingest 提交的 txn 如果落在处于 DECOMMISSION 的副本上,就会反复失败/超时/等待,出现这个lag 不收敛的问题。
可以实际看看下游 BE 在缩容期间 be.INFO 里 ingest binlog 的失败/超时日志。