Apache Doris 中文技术论坛
Questions Tags Users Badges

我们通过hive catalog外表同步数据,有时候hive表会很大导致内存占满了会杀掉其他任务,限制内存又会导致同步任务失败,有什么方法可以稳定一下呢,同步效率慢一点什么的也没问题

Asked Feb 2 Modified Jan 1, 0001
Viewed 63
2.1

我们通过hive catalog外表同步数据,有时候hive表会很大导致内存占满了会杀掉其他任务自己同步也会失败,限制内存又会导致同步任务失败,有什么方法可以稳定一下呢,同步效率慢一点什么的也没问题

edited Jan 1, 0001
gaoxuejian1
asked Feb 2
1 Answers

按照分区来吧,一次大数据量的话,容易OOM

edited Jan 1, 1970
徐振超@SelectDB(可以直接加微信Faith_xzc)8286
answered Feb 3
Related Questions
workload groups 设置是否合理
1 answers
flink更新Doris数据
1 answers
be streamload任务超时被取消但scanner线程出现coredump
1 answers
doris 2.x 同步到哪个版本的doris 最稳定
1 answers
doris配置ranger鉴权后,单表查询可以看到脱敏效果,但是关联查询后就失效了
2 answers
你好,我们目前进行集群的升级中,升级到2.1.11后,这几天遇到问题老年代gc一直占满,然后不断allocrion failure,最后节点与其他fe通信受限导致exit,这个问题能不能帮忙解决一下
1 answers

Terms of service Privacy policy

Powered by Answer - the open-source software that powers Q&A communities.
Made with love © 2026 Apache Doris 中文技术论坛.