版本
- spark version: v3.3
- doris-spark-connector version: v1.3.2 和 v25.1.0
问题描述:
分别通过 doris-spark-connector v1.3.2版本临时视图和 v25.1.0版本 catalog 方式查询 doris 主键模型表存在数据重复,但是相同的 sql 在 doris 里数据是不重复的。由于作业是每天凌晨0点十几分开始跑的,早上9点多再用 sparksql 跑的时候数据也不重复。
请问下要怎么找问题原因。
分别通过 doris-spark-connector v1.3.2版本临时视图和 v25.1.0版本 catalog 方式查询 doris 主键模型表存在数据重复,但是相同的 sql 在 doris 里数据是不重复的。由于作业是每天凌晨0点十几分开始跑的,早上9点多再用 sparksql 跑的时候数据也不重复。
请问下要怎么找问题原因。