BE常驻内存过高

Viewed 16

doris-2.1.6, BE节点为9台物理机(92c, 256GB, 3.5TB ssd + 21TB hdd * 11)
当前平均每个BE节点 TabletNum 76万, DataUsedCapacity 42TB。
大约有300张动态分区表,每日导入数据,主要通过客户号作为colocation group分桶键,约50张表使用了variant类型,个别表variant子列超2048(be参数调整到了4096)

参考Memory Tracker 统计缺失分析
观察相对空闲时段BE MemTracker,metrics,vars信息如下
VmRSS(process resident memory): 140G,571M,660k
sum_of_all_trakers: 31G,352M,827K
SegmentCache: 114M,623K

doris_be_cache_usage{name="SegmentCache"} 85M
doris_be_cache_usage里最大的是DataPageCache,也仅939M
doris_column_reader_num : 30768

这个内存看起来不太合理,但是traker看不到具体哪里占用。系统原因无法做Jemalloc Heap Profile分析,想请教下其他分析手段,有没有办法降进程常驻内存。

0 Answers