Apache Doris 中文技术论坛
Questions Tags Users Badges

【已解决】使用spark-doris-connector 在spark on yarn 的环境下报错,写入不了

Asked Mar 26, 2024 Modified Mar 28, 2024
Viewed 156
2.0

spark版本:2.4.4
doris版本:2.0.3
spark-doris-connector-2.4_2.11:1.3.1

该代码在local模式能正常运行,数据入库
但是在yarn client模式下报错,报错截图在下方。

样例代码:
lQDPJxtFIRnGWhXNApLNBJKw30OLu2C7oCMF8BM6SKPWAA_1170_658.jpg

报错:
lQDPJv9fxuj1exXNAknNBPKwDpQtBIRzftkF8BM6uDTZAA_1266_585.jpg

edited Mar 28, 2024
zhangqiang5
asked Mar 26, 2024
1 Answers

【问题状态】已解决
【问题处理】http client 的问题,打了新包 spark-doris-connector-2.4_2.11-1.4.0-SNAPSHOT.jar 目前使用正常

edited Mar 28, 2024
张彬华7698
answered Mar 27, 2024
Related Questions
Doris 2.0.15,3FE、6BE(3BE mix角色 3BE computation角色)3个mix角色的BE节点CPU使用率100%
1 answers
Doris Routine Load自动恢复机制
1 answers
我的doris版本为2.0.6 在备份操作时,会导致所以fe节点宕机,这种情况该怎么排查,为什么备份会导致这个问题?
1 answers
doris fe节点变更成高可用配置
1 answers
各位大哥在通过k8s安装doris3.0的时候,有没有遇到cg启动不起来,提示Set max number of open file descriptors to a value greater than 60000.
1 answers
doris主键表可以bucket配置太小,怎么修改?
1 answers

Terms of service Privacy policy

Powered by Answer - the open-source software that powers Q&A communities.
Made with love © 2026 Apache Doris 中文技术论坛.