删除一张临时大表后,doris-manager巡检的数据总量和监控显示的数据总量不一致问题

Viewed 34

doris2.1.6上安装了doris-manager-24.3.1-x64,在删除一张临时大表后(该表数据量达到上百GB)使用doris-manager立即进行了巡检,可以看到巡检后显示的总数据量明显减少了,但是在doris-manager左侧的监控里面显示的Used Capacity并没有减少,这是为什么?

2 Answers

补充一下监控图表数据的来源和计算方式:
【Used Capacity】那个监控图表对应的promQL表达式是

sum(doris_be_disks_local_used_capacity{job="$cluster_id"})

可以看到是简单的求和所有的BE暴露的doris_be_disks_local_used_capacity这个指标;该指标的含义是“指定数据目录所在磁盘的剩余空间。如 {path="/path1/"} 表示 /path1 目录所在磁盘的剩余空间”(从这里参考-> https://doris.apache.org/zh-CN/docs/2.0/admin-manual/maint-monitor/monitor-metrics/metrics
你可以直接浏览器访问你的BE的http://{BE的IP}:{webserver_port}/metrics接口,比如http://xxx:8040/metrics,然后直接页面搜一下doris_be_disks_local_used_capacity这个,简单计算一下,顺便看下你的磁盘对应的目录空间是否释放掉

有误删除的流程,默认在回收站里保留一天,一天后才会清理磁盘占用。首页的统计包含回收站的数据。
要立即清理磁盘可以用如下命令:

-- 展示回收站元数据:
SHOW CATALOG RECYCLE BIN;
-- 设置回收站过期时间(如设置为0):
ADMIN SET FRONTEND CONFIG ("catalog_trash_expire_second" = "0");
-- 清理垃圾数据:
ADMIN CLEAN TRASH;
-- 等一段时间,如十分钟,等第一条sql执行之后是空,再恢复过期配置
-- 恢复回收站默认过期时间(如1天):
ADMIN SET FRONTEND CONFIG ("catalog_trash_expire_second" = "86400");