已经创建的自动分区表无法读取fe配置中修改过的autobucket_max_buckets,导致自动分区表的新分区无法按照fe的新配置自动调整buckets

Viewed 39

已经创建的自动分区表,发现数据增长后,由于fe配置中的autobucket_max_buckets的限制,导致buckets大小超过了官方建议的buckets大。
所以扩大fe配置中的autobucket_max_buckets,并重启fe,但是发现在修改配置之前创建的表无法读取fe配置中的autobucket_max_buckets,创建出的新分区还是受限制的buckets数量;修改配置之后创建的表则可以按照新配置创建适合的buckets数量。
这样就会导致,如果表创建之后想要扩展buckets数量,那么需要建新的表,并且转移数据,停服务,非常麻烦,对生产影响很大。

3 Answers

过了很久之后,突然发现新的partition中部分读取到了fe的新配置,特点是partition名比较短;大部分partition还是无法读取fe的新配置,特点是partition名比较长,不知道为什么会出现短名字和长名字,以及二者为什么一个能读取到fe的最新配置,另一个不能
9ec3fa92da1b8923ce5a6f12fe0cdcf.png

您好我确认一下,变更之前 autobucket_max_buckets 默认值是 128,然后auto partition(长名字)和dynamic partition(短名字)创建的分区都是 128 个 bucket。在你变更 autobucket_max_buckets 为 256 并重启以后,短名字分区的变了,长名字分区的没变。是这个意思么?
upd: https://github.com/apache/doris/pull/56921 会在3.1和4.0的下一个版本修复and规范这一用法