doris2.1.8,相同的sql,不同账期但数据量差异,大小表join,有时候会自动join reorder导致OOM

Viewed 32

doris2.1.8,相同的sql,不同账期但数据量差异,大小表join,有时候会自动join reorder导致大表异常广播数据,进而OOM
大表的数据是通过broker load从hdfs导入进来,小表数据不变

第一次报错后,再跑一次,就正常了,正确进行join reorder
感觉像跟统计信息不正确有关,但找不到根因证据和解决方案,只能小表前通过手动添加[broadcast]临时解决

image.png
image.png
image.png

1 Answers

这个问题出现的频率如何呢?从描述来看是和统计信息相关,自动收集统计信息是正在打开的吗?
show variables like "%ENABLE_AUTO_ANALYZE%";


可以加我主页微信我们一起看下