Apache Doris 中文技术论坛
Questions Tags Users Badges

如何提升streamload数据导入能力?

Asked Jun 24, 2024 Modified Jan 1, 0001
Viewed 83
2.0

集群有三台机器,其中3台部署了be,一台部署fe,配置是96 core,11t disk,256mem,使用streamload导入260亿条数据,表一共242个列。导入数据时集群资源没有波澜,每秒差不多能写入3w-4W条数据。
请问怎么配置才能提升导入的能力?

edited Jan 1, 0001
炳裔45
asked Jun 24, 2024
1 Answers

可以试下streamloader,可以实现多并发导入的功能,降低大数据量导入的耗时
https://doris.apache.org/zh-CN/docs/ecosystem/doris-streamloader

edited Jan 1, 1970
徐振超@SelectDB(可以直接加微信Faith_xzc)8271
answered Jun 24, 2024
Related Questions
Doris 2.0.15,3FE、6BE(3BE mix角色 3BE computation角色)3个mix角色的BE节点CPU使用率100%
1 answers
Doris Routine Load自动恢复机制
我的doris版本为2.0.6 在备份操作时,会导致所以fe节点宕机,这种情况该怎么排查,为什么备份会导致这个问题?
1 answers
doris fe节点变更成高可用配置
1 answers
各位大哥在通过k8s安装doris3.0的时候,有没有遇到cg启动不起来,提示Set max number of open file descriptors to a value greater than 60000.
1 answers
doris主键表可以bucket配置太小,怎么修改?
1 answers

Terms of service Privacy policy

Powered by Answer - the open-source software that powers Q&A communities.
Made with love © 2026 Apache Doris 中文技术论坛.