broadcast 相关参数含义

Viewed 24

官网上并没有查询到下来参数的含义:
image.png

在spark中 autoBroadcastJoinThreshold 设置的是文件大小,但是Doris中默认值0.8 明显不是文件大小,我想知道关于这些参数的含义,从而能更灵活的使用 broadcast join

1 Answers

auto_broadcast_join_threshold用于设置可用于为广播连接构建哈希表的最大执行内存百分比。该参数的有效值范围是 0 到 1,默认值是 0.8。当广播连接使用的内存超过该阈值时,系统会改用 Shuffle Join。

如果将 auto_broadcast_join_threshold 设置为负值或 0,即可关闭广播连接。