doris-streamloader 导入报错 Entity Too Large 数据包大约400G

Viewed 55
2.1

doris 导入 单个表csv 大于100g 除了拆文件是否还有其他的处理方法
image.png

1 Answers

可以调整这个 streaming_load_max_mb 参数，但是不建议。切分会好些，不然失败重试的代价太大

徐振超@SelectDB7431
Related Questions
具有 GRANT_PRIV 权限的用户无法执行 CREATE-ROW-POLICY
自动分区与动态分区联用分区名称不一致
fe节点jvm gc频繁，偶尔出现fe节点be节点通讯报错
Apache Doris内存不够，为什么不像spark一样排队处理，Tablet排队一个个处理，而是报错，请问这个解释对吗
1 answers
为什么相同的内存，执行一样的任务，spark可以执行完，但是doris却报内存不足错误，doris已经调整了单个任务可以使用集权资源的80%
1 answers
无法识别关键字 ROUTINE LOAD：no viable alternative at input 'CREATE ROUTINE'
1 answers