doris 4.1.1 & minio 发现:让 minio cpu 和内存飙升

Viewed 42

之前一直是使用 doris 3.1.x 版本,来读取 iceberg 中的数据。最近在调研 doris 4.1.1(最近版本). 在海量拉取数据,每个小时大概 百万 级别的数据量( 每个分区:小于 1G, 文件数量小于 10)。现在发现导致minio的 cpu飙升和内存飙升。下面是 minio 的cpu 监控和内存监控情况
image.png
image.png

通过创建 iceberg catalog 来尝试读取数据。

1 Answers

同一个数据源,数据量相同的情况下,表现不一致,这种需要取两个集群的 profile 看看了。

和用户对齐了一下,当前4.1.1 的集群已经释放了,目前只能尝试本地复现了。

后续有遇到类似情况,可以收集两个 profile :
set enable_profile = true ;
set profile_level =2;

执行sql ,获取profile