咨询下，有没有配置可以对这类异常数据进行筛掉了？目前kafka 推送的数据 如果时间是null 会导致无法推送 kafka堆积
有没有过滤方案 或者 能否有配置实现 将time null数据推送到doris另外一张表，比如我的临时表，不对数据进行时间分区，这样也是可以插入
Doris Kafka Connector消费日志到doris，time=null会导致消费者退出
Viewed 19
1 Answers
目前 我通过以下配置解决这个问题transforms.filterTimeNullOrEmpty.type=io.confluent.connect.transforms.Filter$Value
transforms.filterTimeNullOrEmpty.filter.condition=$[?(@.time != null && @.time != "")]
transforms.filterTimeNullOrEmpty.filter.type=include
transforms.filterTimeNullOrEmpty.missing.or.null.behavior=exclude
但是很好奇 官方的严格模式为啥没有生效啊
doris.sink.properties.strict_mode=true
doris.sink.properties.max_filter_ratio=1