Apache Doris 中文技术论坛
Questions Tags Users Badges

我们通过hive catalog外表同步数据,有时候hive表会很大导致内存占满了会杀掉其他任务,限制内存又会导致同步任务失败,有什么方法可以稳定一下呢,同步效率慢一点什么的也没问题

Asked Feb 2 Modified Jan 1, 0001
Viewed 30
2.1

我们通过hive catalog外表同步数据,有时候hive表会很大导致内存占满了会杀掉其他任务自己同步也会失败,限制内存又会导致同步任务失败,有什么方法可以稳定一下呢,同步效率慢一点什么的也没问题

edited Jan 1, 0001
gaoxuejian1
asked Feb 2
1 Answers

按照分区来吧,一次大数据量的话,容易OOM

edited Jan 1, 1970
徐振超@SelectDB8151
answered Feb 3
Related Questions
streamloaderd成功执行,但是没有导入数据到表里。
1 answers
AUTO LIST PARTITION 分区名长度为何限制 50?能否配置放宽/取消?
doris2.1.11重复建表报错内容异常,不会提示表已经存在
1 answers
我们通过hive catalog外表同步数据,有时候hive表会很大导致内存占满了会杀掉其他任务,限制内存又会导致同步任务失败,有什么方法可以稳定一下呢,同步效率慢一点什么的也没问题
1 answers
Doris的json解析问题
1 answers
doris be启动报错
2 answers

Terms of service Privacy policy

Powered by Answer - the open-source software that powers Q&A communities.
Made with love © 2026 Apache Doris 中文技术论坛.