使用flink-cdc全库同步,MySQL到doris,MySQL新加了表,不重启任务,能增量同步表到doris吗?

Viewed 6

版本信息:
doris版本:3.0.4
flink版本:1.20.1
flink-cdc版本:3.4.0

flink任务yaml

./bin/flink run \
    -Dexecution.checkpointing.interval=10s \
    -Dparallelism.default=2 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
    lib/flink-doris-connector-1.20-24.0.1.jar \
    mysql-sync-database \
    --database test_db \
    --mysql-conf hostname=*** \
    --mysql-conf port=13306 \
    --mysql-conf username=root \
    --mysql-conf password=123456 \
    --mysql-conf database-name=test_db \
    --mysql-conf scan.newly-added-table.enabled=true \
    --mysql-conf scan.binlog.newly-added-table.enabled=true \
    --including-tables ".*" \
    --sink-conf fenodes=***:8030 \
    --sink-conf username=root \
    --sink-conf password= \
    --sink-conf jdbc-url=jdbc:mysql://***:9030 \
    --sink-conf sink.label-prefix=label \
    --table-conf replication_num=1

我这边尝试设置了这两个参数:scan.newly-added-table.enabled=true 和mysql-conf scan.binlog.newly-added-table.enabled=true
但是看起来并未生效。

0 Answers