设置的参数为:
.option("doris.sink.task.use.repartition", "true")
.option("doris.sink.task.partition.size", "1")
但doris的合并压力太大,还是产生了太多次streamload请求,收到报错。
detailMessage = current running txns on db 11341 is 1000, larger than limit 1000
设置的参数为:
.option("doris.sink.task.use.repartition", "true")
.option("doris.sink.task.partition.size", "1")
但doris的合并压力太大,还是产生了太多次streamload请求,收到报错。
detailMessage = current running txns on db 11341 is 1000, larger than limit 1000
调整 fe.conf 的参数 max_running_txn_num_per_db
可以先调整上面的参数,有其他问题可以新提一个帖子继续跟进