Apache Doris 中文技术论坛
Questions Tags Users Badges

datax 读取 hive ,写入 Doris 速度为 1200行/秒

Asked Mar 25, 2024 Modified Mar 27, 2024
Viewed 239
ingestion 2.0

datax 机器配置: 4c 8g 100g

数据:600 列 ,3000万行数据

Doris :三台fe 16c,32g,100g. 四台 be 32c,64g,2t

job 配置文件

生产任务截图
生产截图

是 datax 机器配置不够还是什么原因啊

edited Mar 27, 2024
Yanglei1
asked Mar 25, 2024
3 Answers

设置下 datax job的并发试试呢,调整下 channel

edited Jan 1, 1970
阿渊@SelectDB8150
answered Mar 25, 2024

用这个试试,https://wgzhao.github.io/Addax/develop/reader/hdfsreader/

edited Mar 26, 2024
zhb123319
answered Mar 25, 2024

可以增加doriswriter的攒批条数和size

edited Jan 1, 1970
JNSimba336
answered May 21, 2024
Related Questions
insert into select 外部catalog表 插入数据,报要求字段not null的错误,但字段都是定义允许null
2 answers
使用flink-cdc全库同步,MySQL到doris,MySQL新加了表,不重启任务,能增量同步表到doris吗?
2 answers
【已解决】在kettle中 使用 Doris Stream loader插件 无法落库数据
3 answers
type:LOAD_RUN_FAIL; msg:errCode = 2, detailMessage = type:LOAD_RUN_FAIL; msg:errCode = 2,
1 answers
2.1.10版本使用"__DORIS_DELETE_SIGN__":1 批量删除对于routine load的一流多表测试不起作用?
1 answers
spark-doris-connector 写入异常,sql却提示成功
1 answers

Terms of service Privacy policy

Powered by Answer - the open-source software that powers Q&A communities.
Made with love © 2025 Apache Doris 中文技术论坛.