频繁使用 StreamLoader 接口导入大批量数据(几十亿至一百亿)出现性能明显下降,有无较好的实践?

Viewed 15

如题。目前在做一个自动化程序,调用 StreamLoader 接口反复并发向单表写入大批量数据。在持续运行一小时后出现明显的性能下降,并且 CPU 和内存占用较高。CPU 平均 4000%。strace doris-be 发现有巨量 210KB 左右大小的文件读写中。有什么办法改善这个现象吗?
Doris 2.1.11
环境 AMD EPYC 7763 64-Core, 512GB RAM,BE 有两块 NVME 存储盘支持。

1 Answers

BE只有一个? 单个BE写入的吞吐量肯定低啊。一个64v的BE,不如4个16v的BE