Doris 3.1 存算分离 导入性能

Viewed 46

存算分离
3FE 4BE,每个16c64G,挂两个500G的ESSD,使用默认配置。

用4台机器作为客户端,每个搞5并发
每个客户端每次都先生成15000条数据(耗时1s),再并发提交,用部分列灵活更新导入(耗时1.2s左右,偶尔有几个2,3s), 持续5分钟。
结果: cpu到65% ~ 80%, 内存 45%左右, IO 60%左右, 一共写入750w,每条数据100列,表是600列。

有调优的空间吗,能否维持在这种资源使用比例的情况下,稳定或者导入更多数据?

2 Answers

看样子 CPU 可能发展成瓶颈,表的分桶数怎么样?可以适当增加表的bucket数

我改了一些配置参数,资源使用同样的情况下,写入增加了10%左右。还没改桶数,我是按一个桶5g左右算的