doris-2.1.10 scala-2.12
在之前我已经执行spark应用写入了一些数据在doris中,现在我根据操作通过withColumn给其中一些数据加上了删除标记:
df.withColumn("should_delete",when(col("op") === "d", lit(1).otherwise(0))).drop("op")
当op为d时,表示这条数据之前已经写入了,现在要删除
然后按照查询的资料,修改写入方法,没有生效,下面是我的写入方法:
df
.write
.format("doris")
.option("doris.table.identifier", table)
.option("doris.fenodes", feNodes)
.option("user", user)
.option("password", pwd)
.option("sink.batch.size", sinkBatchSize)
.option("doris.delete.sign.column", "should_delete")
.option("doris.delete.sign.value", "1")
.option("doris.request.connect.timeout.ms", dorisConnectTimeOut)
.option("doris.request.read.timeout.ms", dorisConnectTimeOut)
.option("doris.request.query.timeout.s", dorisQueryTimeOut)
.option("doris.sink.task.partition.size", partitionSize)
.option("doris.sink.task.use.repartition", value = true)
.save()
可以指导一下是哪里有问题吗,我写入的表是Unique Key模型表