使用DataX从Doris边传输边脱敏到MySQL报错

Viewed 40
2.1 demand

Doris版本2.1.2，三台FE三台BE集群，每台16核心，66G内存
边传输边脱敏可以理解为每条数据经过DataX插件处理数秒之后再统一插入数据库
DataX报错为image.png
初步排查为插件处理时间过长导致的，更改了Doris超时时间到200000没有太大的作用

1 Answers

十列数据，有一列中文长文本，100万数据，最好一次跑了16万

WeiHan1
Related Questions
bitmap类型设置默认值后，数据导入报错can not cast from origin type bitmap to target type=varchar(65533)
1 answers
doris2.1.8，相同的sql，不同账期但数据量差异，大小表join，有时候会自动join reorder导致OOM
1 answers
Doris BE 集群1-2个节点过一段时间后内存持续升高，出现OOM，定位是冷数据垃圾回收功能影响
1 answers
doris2.1.7 truncate table xxx 及 create table 报错,faied to find enugh backend
1 answers
flinksql写Doris标记删除时'sink.enable-delete' = 'false'的含义
1 answers
2.1.0 BE OOM，内存分析求助
1 answers