doris2.0.2.1大量delete语句和stream load执行在5分钟左右

Viewed 9

多个表,均是Unique Key模型
根据pk_asset分桶,数据量在几十万 到 几亿不等
代码操作为:
先执行delete from xxx where pk_asset in (?,?,?)
再将一批新数据通过stream load的方式写入
服务器 CPU 16核 有时飙到100%
内存500G 一直打满状态,缓存占用2/3,清了缓存很快又占满
现象: delete语句执行甚至超过5分钟,一次stream load也超过5分钟

1 Answers

delete 其实也是一个导入任务和streamload 一样,在Doris中delete是标记删除。

这个Doris版本有些低,建议您升级下 Doris 版本呢。


如果有问题可以加我主页微信聊哈~