flink-doris-connector写入doris高峰期出现抖动怎么排查

Viewed 3

doris版本:3.0.8

flink-doris-connector从kafka消费日志写入到doris,发现当数据量100w/s时,kafka消费速率出现了抖动,发现是checkpoint时间比较长。这个有什么方法可以排除是哪里出现了瓶颈?另外还发现be节点的负载相差较大。资源监控发现CPU、内存和IO都正常。

image.png

image.png

image.png

1 Answers

ckp 耗时增加,如果不是flink 算子慢,那可能是 sink 端慢,可以看看在task Manager中找到对应的返回的load result ,拿到 streamload 的返回结果看一下。同时看看BE compaction 的压力。