Apache Doris 中文技术论坛
Questions Tags Users Badges

我们通过hive catalog外表同步数据,有时候hive表会很大导致内存占满了会杀掉其他任务,限制内存又会导致同步任务失败,有什么方法可以稳定一下呢,同步效率慢一点什么的也没问题

Asked Feb 2 Modified Jan 1, 0001
Viewed 81
2.1

我们通过hive catalog外表同步数据,有时候hive表会很大导致内存占满了会杀掉其他任务自己同步也会失败,限制内存又会导致同步任务失败,有什么方法可以稳定一下呢,同步效率慢一点什么的也没问题

edited Jan 1, 0001
gaoxuejian1
asked Feb 2
1 Answers

按照分区来吧,一次大数据量的话,容易OOM

edited Jan 1, 1970
徐振超@SelectDB(可以直接加微信Faith_xzc)8286
answered Feb 3
Related Questions
Flink Connector 26.3.0 读取 DATETIME 变成 1970 年,切换 25.0.0 后正常
1 answers
SelectDB Doris 2.1.8-3 升级使用灵活部分列更新,推荐版本及升级流程咨询
1 answers
max_by会不会忽略null值
1 answers
Apache Doris默认口令登录漏洞
Apache Doris Dashboard未授权访问漏洞
1 answers
Doris2.1.6升级为Doris2.1.11后全部be节点进程频繁停止运行
1 answers

Terms of service Privacy policy

Powered by Answer - the open-source software that powers Q&A communities.
Made with love © 2026 Apache Doris 中文技术论坛.