be节点cpu很高,经常打满,查看线程操作,发现memtableflush线程比较多,这个情况下有什么参数调整可以优化cpu使用吗?
写入的都是routine任务,有写单表,也有一个任务写多表的!
be节点cpu很高,经常打满,查看线程操作,发现memtableflush线程比较多,这个情况下有什么参数调整可以优化cpu使用吗?
写入的都是routine任务,有写单表,也有一个任务写多表的!
这是写入压力太大了,可以扩容一下,或者调整下这个看下
set global enable_memtable_on_sink_node=false
关闭MemTable 前移,可以参考这部分的文档
https://doris.apache.org/zh-CN/docs/3.0/releasenotes/v2.1/release-2.1.0?_highlight=memtable&_highlight=%E5%89%8D%E7%A7%BB#insert-into-select-%E5%AF%BC%E5%85%A5%E6%80%A7%E8%83%BD%E6%8F%90%E5%8D%87-100
可以试试Workload Group的cpu硬限,开启memtable前移的时候,memtableflush线程会使用Workload Group的线程,该线程的cpu用量可以被限制