Doris ROUTINE LOAD 模式 tcp连接数应该如何计算和控制

Viewed 7

16个routine load 任务读取kafka数据,kafka分区数为12,tcp连接数过多,需要控制连接数,测试调整了routine_load_consumer_pool_size、desired_concurrent_number等参数,没有明显效果,实际连接数远超与min(aliveBeNum, partitionNum, desired_concurrent_number, max_routine_load_task_concurrent_num)的结果

调整routine_load_consumer_pool_size
image.png

调整desired_concurrent_number,下降幅度不明显,且随着任务运行时间的增加,tcp连接数也会增加
image.png
image.png

0 Answers