flink cdc 和 doris 自带的cdc写入都很慢

Viewed 66

大佬,帮忙分析一下,4.1.3版本单节点be和fe合并部署
写入耗时和cpu使用率,cpu只使用了单核100,其他核没用,写入耗时8000条要40多秒:
image.png
火焰图:
image.png

1 Answers
  1. 看着是streamload 比较慢,能否做个测试,比如你把这批数据搞成一个CSV 文件,手动streamload下,看看耗时怎么样?
  2. be的日志级别是什么级别,是否改成了debug级别的日志?如果是,需要改成INFO 级别的日志再次测试。
  3. 如果测试时 Streamload 还是比较慢,按照以下方面排查:
    监控排查下 be 的CPU、内存、IO、网卡等资源使用情况,是否瓶颈或者异常查看慢请求的日志,主要是Coordinator be的(streamload发送的那个be)
    客户端到be的网络怎么样,ping时延,网路带宽
    客户端是如何给be 发送数据,如果发送数据的时间本来就比较长,streamload的时间就会长。

你可以加我主页微信,我们看看