为什么应入库 3913384248条 实际入库3739933317条,如何排查Doris在哪个环节丢数据了

Viewed 17

数据通过kettle导入Doris,应导入的数据为3913384248条,kettle导入日志显示的导入总数为3913384248条,但是Doris的实际入库数为3739933317条,执行SHOW STREAM LOAD FROM data_center WHERE STATUS = "FAIL" ORDER BY StartTime DESC LIMIT 100;无任何数据返回,执行SHOW STREAM LOAD FROM data_center ORDER BY StartTime DESC全部显示successimage.png,且 FilteredRows 和 UnselectedRows 两列均为0,我应该如何排查

1 Answers

kettle 中的 streamload 的参数是怎么配置的?先看看的。
你可以看下kettle 中的日志有没有打印streamload的返回,如果有的话,把这些streamload的返回结果都取一下,给到大模型,然后取下每次导入的 NumberTotalRows ,然后sum一下,看看是多少条?