每天凌晨3-4点磁盘缓慢增长不释放

Viewed 19

版本doris-4.0.2-rc02,表象如下图,直到重启才能降下来,一直在使用flink cdc将mysql数据实时同步到doris,有60多张表,其中有1一张表660w数据关联了6个物化视图,一张7100w数据的表关联了一个物化视图,都是REFRESH AUTO ON COMMIT,机器配置16C32T 64g,每台机器上各1个fe与be,fe内存是-Xmx8192m。最近调整了一些参数,但没效果,其他参数没动过,出现磁盘缓慢增长时cpu利用率相对比较低的
mem_limit=80%
cumulative_compaction_min_deltas=3
pick_rowset_to_compact_interval_sec=14400
max_tablet_version_num=50
max_base_compaction_threads=5

image.png
image.png
截止目前的使用情况如下
image.png

1 Answers

异步物化视图这里其实是走的 insert overwrite 的方式,通过创建临时分区原子替换正式分区这种,这种数据会直接删除,不经过回收站。应该和物化视图目前判断无正相关。

可以看看这种:

  1. show trash 查看之前删除的数据是否没有清理
  2. SHOW CATALOG RECYCLE BIN 查看是否之前 drop 的数据没有过期