[doris-spark-connector] 主键模型数据重复

Viewed 18

版本

  • spark version: v3.3
  • doris-spark-connector version: v1.3.2 和 v25.1.0

问题描述:

分别通过 doris-spark-connector v1.3.2版本临时视图和 v25.1.0版本 catalog 方式查询 doris 主键模型表存在数据重复,但是相同的 sql 在 doris 里数据是不重复的。由于作业是每天凌晨0点十几分开始跑的,早上9点多再用 sparksql 跑的时候数据也不重复。

请问下要怎么找问题原因。

1 Answers

Doris的具体具体版本号是哪个?
这个问题可能得通过日志分析下,您方便的话加我主页微信下,我们一起看看