BE内存占用过高

Viewed 55

所有BE节点内存占用都很高,sum_of_all_trackers和process resident memory的比率才到53%左右。
是否有内存泄漏,或可以如何排查原因。
Doris版本:2.1.7
image.png

3 Answers

看了下tablet等数量:
doris_total_rowset_num : 93324
doris_total_segment_num : 2108
doris_total_tablet_num : 10531
compaction从监控来看,一直是比较低的,比如cumulate一般都维持在50M/s以内, base也一向很少。

我们做过一次升配,cpu由32核提高到64核。升配前,内存占用不高,升配后,内存就变高了,低峰期要比之前多个近16G。

后面调整了parallel_pipeline_task_num,降低到和升配前差不多,但内存无降低

jeprof分析BE来看,这一块一直占用最大,BE启动三四个小时了,再次分析还是这块最大
image.png