doris2.1.7版本,brpc线程满问题

Viewed 69

doris2.1.7版本,目前be上每天有一两百次如下日志:
E20250224 09:31:16.944681 997886 task_group_inl.h:91] _rq is full, capacity=4096
E20250224 09:31:25.608541 997775 task_group_inl.h:91] _rq is full, capacity=4096
这个应该是brpc线程满了,在社区也有人提问:但是未解决被关闭了:
https://github.com/apache/doris/issues/45419

现在be所在机器配置较高(160c, 800G内存),内存和cpu都有比较大的空闲,be中是否有参数可以提高bthread的线程数? 另外,修改了该配置是否还需要联动修改其他相关配置,多谢

2 Answers

可以参考如下处理方式:

  1. 检查网络是否正常
  2. 可升级至2.x.x新版本(2.0之前出现的较多,2.0比较少出现该异常)
  3. 可参考如下相关参数调整后再观察:
be.conf:
fragment_pool_thread_num_max = 2048
fragment_pool_queue_size = 4096
brpc_num_threads = 256
fe.conf
remote_fragment_exec_timeout_ms = 30000

可以再thread pool 满的时候,使用pstack 打印一下be 进程的线程栈