doris-streamloader 导入报错 Entity Too Large 数据包大约400G

Viewed 83
2.1

doris 导入 单个表csv 大于100g 除了拆文件是否还有其他的处理方法
image.png

1 Answers

可以调整这个 streaming_load_max_mb 参数，但是不建议。切分会好些，不然失败重试的代价太大

徐振超@SelectDB(可以直接加微信Faith_xzc)8226
Related Questions
使用UNIQUE KEY建表时候，用日期建分区，日期字段不是跟在id后面，一定要列出日期字段前面所有字段才能建分区吗
ROUTINE LOAD导入kafka数据，当kafka是cdc数据，JSON格式，带删除标识的:op:d
1 answers
jdbc catalog 地址修改有残留
能使用ROUTINE LOAD将kafka数据批量同步到doris中吗
1 answers
doris 2.1 stream load 使用group commit 有2个报错
1 answers
Doris 某个be节点负载高，导致短暂宕机
1 answers