使用x2doris迁移starrocks数据,spark侧任务并发数过少

Viewed 24

由于数据源starrocks中tablet数量较少,单个tablet数据量多,导致spark侧任务并发量很低,,即便将starrocks.request.tablet.size设置为1 ,任务并发数依然很低。
如何提高spark侧任务的并发量,可以实现单个tablet对应由多个spark任务处理么?

1 Answers

上面的参数是一个 RDD Partition 对应的 sr Tablet 个数。此数值设置越小,则会生成越多的 Partition。但是没有办法设置多个spark对应一个tablet