Doris2.1.8版本,订阅kafka数据,处理后使用stream load将json格式数据导入到表(表字段很多):
1,返回值中receiveDataTimeMs是什么含义呢?
2,总体耗时很高,且receiveDataTimeMs占总导入时间的比例很大,怎么进行优化呢?
另外:相同的表,当json数据字段很少、或json数据条数很少时导入快很多;
Doris2.1.8版本,订阅kafka数据,处理后使用stream load将json格式数据导入到表(表字段很多):
1,返回值中receiveDataTimeMs是什么含义呢?
2,总体耗时很高,且receiveDataTimeMs占总导入时间的比例很大,怎么进行优化呢?
另外:相同的表,当json数据字段很少、或json数据条数很少时导入快很多;
Stream Load 结果中增加了读取 HTTP 数据的耗时时间ReceiveDataTimeMs,可以快速判断网络原因导致的 Stream Load 慢问题。#40735
!!!!在变更记录中找到了。
这个仅记录在变更记录中,在stream load的功能正文中却尚未做相关补充。
另外写的是Release 3.0.2版本新增功能,我却在2.1.8就有了这个返回字段是什么原因呢?
{"a":"a"}
和
{"a":"12345667.........1234567"} 总大小1M左右
使用stream load 分别导入以上2条数据,耗时相差非常大,
服务端有 stream load 的io流速限制吗?还是对于长json解析耗时高?
理论上都是1个字段,耗时到底用在了哪里,又该怎么优化呢?