Doris 2.1.6 Fe内存一直增长不释放问题

Question

1 历史背景

之前2.0.3版本查询hive外表数据会一直注册Hadoop metrics导致资源一直不释放造成fe内存升高，解决方法是把S3AInstrumentation代码引用到fe代码中并将注册Hadoop metrics方法进行注释解决了这个问题，所以在2.1.6升级的时候也采用了这种方式：

org.apache.hadoop.fs.s3a.S3AInstrumentation引用到fe代码中并registerAsMetricsSource(name)这个方法进行注释

这个问题解决完，升级2.1.6又发现fe内存增长，2.0.3没有这个问题，下面是具体问题的现象

2 问题现象（2.0.3没有这个问题）

图1 下面可以看到内存一直在增长
fe内存监控.png

图2
信息.jpg

3 自查思路

根据图2从fe的内存中发现MutableQuantiles，MetricsInfo，SampleQuantiles，RolloverSample占用的内存最高，且资源不释放，应该是MutableQuantiles或S3AInstrumentation资源没有很好的释放。图二中占用内存比较高的类好像都在MutableQuantiles类中，MutableQuantiles好像只有S3AInstrumentation这个类有引用，但是目前不知道再往下排查。

怀疑是不是哪个地方调用S3AInstrumentation.close没有正常close导致的

----------------------- 20241224 再次出现问题 --------------------------

4 20241224 采纳社区合并pull-38610后的建议，再次复现问题

4.1 pull地址：https://github.com/apache/doris/pull/38610

4.2 内存现象，还是和之前一样

20241224-内存.jpeg
20241224-趋势图.pic.jpg

黄海军@SelectDB · Answer

问题跟进中，有进展会更新回帖。