workload group无法生效

Viewed 22

版本:3.0.4
根据文档设置了workload group,并绑定用户,做复杂查询,看manager监控,在设置了group cpu_hard_limit='10%'硬限制的情况下,cpu还是比较高,看看各位大佬有遇见类似问题不
具体详情:
用户设置:
图片.png
goup设置:
name:test_workload_group
memory_limit:20%
cpu_hard_limit:10%
fe硬限制开关已开:
experimental_enable_cpu_hard_limit true boolean true false
be节点的CGroup 环境均已配置,be进程是root用户:
图片.png
执行查询的时候cpu监控超出10%使用很多:
图片.png

1 Answers

1 可以先按照这个文档排查下,看cgroup环境是否配置成功 https://doris.apache.org/zh-CN/docs/admin-manual/workload-management/workload-group#%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98

2 如果不是文档中的常见问题,可以在压测的cpu高峰时使用top -H -b -n 1 -p 进程号输出下各个线程的cpu使用,这里可以手动计算出各个wg的cpu使用,看和配置的10%是否相等。如果相等那就是进程内的其他线程使用cpu过高,这个是符合预期的,因为workload group的cpu使用不等于be进程的cpu使用。
3 如果cgroup环境配置有效,并且通过top命令看workload group线程累计的cpu值还是高于配置的10%,应该是目前机器环境的cgroup无法生效。之前遇到过vm环境下cgroup无法生效的情况。这个时候可以通过设置scan线程数间接控制cpu