请教一下如果从commit成功的checkpoint恢复时任务时会发生啥

Viewed 20

任务失败超过6个小时,直接从最近一次的checkpoint恢复时报commit transaction failed xxx这个错误。如果从最近一次的上一次checkpoint来恢复时是否可行呢?针对checkpoint成功且commit成功的位置恢复时,它是会重新提交事务,但保持幂等么,还是说针对成功commit的情况会自动检测不再重复commit了?

1 Answers

从之前的checkpoint重启的时候,拿到的offset就是之前的,这个时候已经导入过的数据会重放,主键表会幂等的。