doris 4.1.1 & minio 发现:让 minio cpu 和内存飙升

Viewed 6

之前一直是使用 doris 3.1.x 版本,来读取 iceberg 中的数据。最近在调研 doris 4.1.1(最近版本). 在海量拉取数据,每个小时大概 百万 级别的数据量( 每个分区:小于 1G, 文件数量小于 10)。现在发现导致minio的 cpu飙升和内存飙升。下面是 minio 的cpu 监控和内存监控情况
image.png
image.png

通过创建 iceberg catalog 来尝试读取数据。

0 Answers