doris-streamloader 导入报错 Entity Too Large 数据包大约400G

Viewed 73
2.1

doris 导入 单个表csv 大于100g 除了拆文件是否还有其他的处理方法
image.png

1 Answers

可以调整这个 streaming_load_max_mb 参数，但是不建议。切分会好些，不然失败重试的代价太大

徐振超@SelectDB8111
Related Questions
AUTO LIST PARTITION 分区名长度为何限制 50？能否配置放宽/取消？
doris2.1.11重复建表报错内容异常，不会提示表已经存在
1 answers
我们通过hive catalog外表同步数据，有时候hive表会很大导致内存占满了会杀掉其他任务，限制内存又会导致同步任务失败，有什么方法可以稳定一下呢，同步效率慢一点什么的也没问题
1 answers
doris be启动报错
2 answers
使用docker-compose配置doris FE启动成功 但BE启动失败
1 answers
Doris的json解析问题
1 answers