Apache Doris 中文技术论坛
Questions Tags Users Badges

使用DataX从Doris边传输边脱敏到MySQL报错

Asked Dec 2, 2024 Modified Jan 1, 0001
Viewed 49
2.1 demand

Doris版本2.1.2,三台FE三台BE集群,每台16核心,66G内存
边传输边脱敏可以理解为每条数据经过DataX插件处理数秒之后再统一插入数据库
DataX报错为image.png
初步排查为插件处理时间过长导致的,更改了Doris超时时间到200000没有太大的作用

edited Jan 1, 0001
WeiHan1
asked Dec 2, 2024
1 Answers

十列数据,有一列中文长文本,100万数据,最好一次跑了16万

edited Jan 1, 1970
WeiHan1
answered Dec 2, 2024
Related Questions
streamloaderd成功执行,但是没有导入数据到表里。
1 answers
doris2.1.11重复建表报错内容异常,不会提示表已经存在
1 answers
AUTO LIST PARTITION 分区名长度为何限制 50?能否配置放宽/取消?
我们通过hive catalog外表同步数据,有时候hive表会很大导致内存占满了会杀掉其他任务,限制内存又会导致同步任务失败,有什么方法可以稳定一下呢,同步效率慢一点什么的也没问题
1 answers
Doris的json解析问题
1 answers
doris be启动报错
2 answers

Terms of service Privacy policy

Powered by Answer - the open-source software that powers Q&A communities.
Made with love © 2026 Apache Doris 中文技术论坛.