ROUTINE LOAD导入kafka数据,当kafka是cdc数据,JSON格式,带删除标识的:op:d

Viewed 21

导入到doris中,只会增加数据,无法识别当op:d时候,需要对数据做删除操作,这个可以实现根据op对数据进行操作吗

1 Answers

routineload 无法实现这个操作,这种只能使用Doris中的 kafka catalog + streaming job + merge into的方式,但是这种方式还没release(CREATE STREAMING JOB)。

或者就是用flink 先做一次处理。