Doris2.1.8版本,订阅kafka数据,处理后使用stream load将json格式数据导入到表(表字段很多):
1,返回值中receiveDataTimeMs是什么含义呢?
2,总体耗时很高,且receiveDataTimeMs占总导入时间的比例很大,怎么进行优化呢?
另外:相同的表,当json数据字段很少、或json数据条数很少时导入快很多;
Doris2.1.8版本,订阅kafka数据,处理后使用stream load将json格式数据导入到表(表字段很多):
1,返回值中receiveDataTimeMs是什么含义呢?
2,总体耗时很高,且receiveDataTimeMs占总导入时间的比例很大,怎么进行优化呢?
另外:相同的表,当json数据字段很少、或json数据条数很少时导入快很多;
Stream Load 结果中增加了读取 HTTP 数据的耗时时间ReceiveDataTimeMs,可以快速判断网络原因导致的 Stream Load 慢问题。#40735
!!!!在变更记录中找到了。
这个仅记录在变更记录中,在stream load的功能正文中却尚未做相关补充。
另外写的是Release 3.0.2版本新增功能,我却在2.1.8就有了这个返回字段是什么原因呢?