doris-streamloader 导入报错 Entity Too Large 数据包大约400G

Viewed 75
2.1

doris 导入 单个表csv 大于100g 除了拆文件是否还有其他的处理方法
image.png

1 Answers

可以调整这个 streaming_load_max_mb 参数，但是不建议。切分会好些，不然失败重试的代价太大

徐振超@SelectDB8201
Related Questions
doris主键表可以bucket配置太小，怎么修改？
1 answers
2.1.7 版本routine load 写入问题
1 answers
多张表使用colocate join，如何设计？
1 answers
doris2.1.11使用外部目录，用catalog的数据创建异步视图，没有数据，需要强制手动刷新才行
1 answers
SET PROPERTY FOR 'user' 'exec_mem_limit' = '147483648'不起作用。
1 answers
Doris 2.1 倒排索引(不分词) 使用 in方式 查询1000个id 速度慢
1 answers