所有BE节点内存占用都很高,sum_of_all_trackers和process resident memory的比率才到53%左右。
是否有内存泄漏,或可以如何排查原因。
Doris版本:2.1.7
所有BE节点内存占用都很高,sum_of_all_trackers和process resident memory的比率才到53%左右。
是否有内存泄漏,或可以如何排查原因。
Doris版本:2.1.7
从 memtracker 中看到进程实际使用内存75G,其中可能有一些漏统计的,只统计到了39G
https://doris.apache.org/zh-CN/docs/dev/admin-manual/trouble-shooting/memory-management/memory-analysis/metadata-memory-analysis
先看下元数据的指标吧,是不是 compaction 不及时或tablet太多
看了下tablet等数量:
doris_total_rowset_num : 93324
doris_total_segment_num : 2108
doris_total_tablet_num : 10531
compaction从监控来看,一直是比较低的,比如cumulate一般都维持在50M/s以内, base也一向很少。
我们做过一次升配,cpu由32核提高到64核。升配前,内存占用不高,升配后,内存就变高了,低峰期要比之前多个近16G。
后面调整了parallel_pipeline_task_num,降低到和升配前差不多,但内存无降低