doris-streamloader 导入报错 Entity Too Large 数据包大约400G

Viewed 73
2.1

doris 导入 单个表csv 大于100g 除了拆文件是否还有其他的处理方法
image.png

1 Answers

可以调整这个 streaming_load_max_mb 参数，但是不建议。切分会好些，不然失败重试的代价太大

徐振超@SelectDB8151
Related Questions
doris fe挂掉，报错(JE 18.3.12) Disk usage is not within je.maxDisk or je.freeDisk
streamloaderd成功执行，但是没有导入数据到表里。
1 answers
doris2.1.11重复建表报错内容异常，不会提示表已经存在
1 answers
AUTO LIST PARTITION 分区名长度为何限制 50？能否配置放宽/取消？
我们通过hive catalog外表同步数据，有时候hive表会很大导致内存占满了会杀掉其他任务，限制内存又会导致同步任务失败，有什么方法可以稳定一下呢，同步效率慢一点什么的也没问题
1 answers
doris be启动报错
2 answers