多个表,均是Unique Key模型
根据pk_asset分桶,数据量在几十万 到 几亿不等
代码操作为:
先执行delete from xxx where pk_asset in (?,?,?)
再将一批新数据通过stream load的方式写入
服务器 CPU 16核 有时飙到100%
内存500G 一直打满状态,缓存占用2/3,清了缓存很快又占满
现象: delete语句执行甚至超过5分钟,一次stream load也超过5分钟
多个表,均是Unique Key模型
根据pk_asset分桶,数据量在几十万 到 几亿不等
代码操作为:
先执行delete from xxx where pk_asset in (?,?,?)
再将一批新数据通过stream load的方式写入
服务器 CPU 16核 有时飙到100%
内存500G 一直打满状态,缓存占用2/3,清了缓存很快又占满
现象: delete语句执行甚至超过5分钟,一次stream load也超过5分钟
delete 其实也是一个导入任务和streamload 一样,在Doris中delete是标记删除。
这个Doris版本有些低,建议您升级下 Doris 版本呢。
如果有问题可以加我主页微信聊哈~