最近flinksql采用2阶段提交写doris时总是报[INTERNAL_ERROR]cancelled: [CANCELLED]Process memory not enough, cancel top memory used load:

Question

详细日志信息：
"Message": "[INTERNAL_ERROR]cancelled: [CANCELLED]Process memory not enough, cancel top memory used load: consumption 376.32 KB, backend xx.xx.xx.xxx, process memory used 148.98 GB exceed limit 148.92 GB or sys available memory 13.10 GB less than low water mark 8.29 GB. Execute again after enough memory, details see be.INFO."
总是报内存不足，从程序层面可以如何优化啊？

阿渊@SelectDB · Answer

process memory used 148.98 GB exceed limit 148.92 GB or sys available memory 13.10 GB less than low water mark 8.29 GB.

报错信息比较明显，使用的内存超过最大限制了。这里需要看看当时的 memtracker ，以及 BE的内存监控，看看内存是不是有泄漏，还是任务本身就比较大。

如果是任务本身就很大，看看是否有并发执行的情况。如果有的话，看看能否顺序执行。或者任务大拆小。

也可以加我主页微信一起看看

最近flinksql采用2阶段提交写doris时总是报[INTERNAL_ERROR]cancelled: [CANCELLED]Process memory not enough, cancel top memory used load:

1 Answers