datax 读取 hive ，写入 Doris 速度为 1200行/秒

Viewed 239
ingestion 2.0

datax 机器配置： 4c 8g 100g

数据：600 列 ，3000万行数据

Doris ：三台fe 16c,32g,100g. 四台 be 32c，64g，2t

job 配置文件

生产任务截图
生产截图

是 datax 机器配置不够还是什么原因啊

3 Answers

设置下 datax job的并发试试呢，调整下 channel

阿渊@SelectDB8300
zhb123319

可以增加doriswriter的攒批条数和size

JNSimba336
Related Questions
创建ROUTINE LOAD Kafka任务报错Failed to get real offsets of kafka topic
int类型写入数据超过范围不报错
logstash-output-doris-1.2.0.zip 离线安装包不存在
2 answers
sqoop 从hdfs导入doris
1 answers
Doris存算分离架构压测指标上不去
1 answers
Flink CdcTools 使用Oracle XStream方式 初始化时无问题，在增量同步时无法识别Oracle Date类型数据，会将目标字段值设为NULL
1 answers