BDBJE Write latency

Viewed 29

fe: BDBJE Write latency 当前值为 1098 ms
版本:
Manager v24.1.5
doris:2.0.15.1
环境:3fe+ 3be

3 Answers

元数据写入延比较高,看看 FE 元数据目录所在磁盘压力怎么样,是否有和其他服务共享IO?FE 节点的资源状态之类的。同时查下写入压力是否增加。

fe节点监控:
image.png
image.png
元数据:
image.png
image.png

这样调整参数是否可行?
fe:

在文件末尾添加以下参数(注意等号两边不要有空格)

bdbje_log_file_size=1073741824
bdbje_cache_size_percentage=20
metadata_checkpoint_memory_threshold=50
enable_truncate_optimize=true
metadata_cache_size=200000
partition_refresh_second=120

找到原有JAVA_OPTS行,


JAVA_OPTS="-Xmx8192m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNe wGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.l og.$DATE"
整体替换为:
JAVA_OPTS="-Xmx16384m -XX:+UseG1GC -XX:MaxGCPauseMillis=100 -XX:G1HeapRegionSize=16m -XX:InitiatingHeapOccupancyFraction=45 -XX:SoftRefLRUPolicyMSPerMB=50 -Xloggc:$DORIS_HOME/log/fe.gc.log.$DATE"

be:

在文件末尾添加以下参数:

cumulative_compaction_min_deltas=5
cumulative_compaction_max_deltas=100
enable_delete_when_cumulative_compaction=true
delete_handler_thread_count=16
write_buffer_size=2147483648
tablet_writer_open_memory_limit=4294967296
base_compaction_thread_num=4
cumulative_compaction_thread_num=8

找到jvm_max_heap_size行,修改为:

jvm_max_heap_size=8192M (之前为2048)

验证:
-- 连接MySQL客户端后执行
ADMIN SHOW FRONTEND CONFIG LIKE '%bdbje%';
ADMIN SHOW FRONTEND CONFIG LIKE '%metadata%';

curl http://BE_IP:8040/api/show_config | grep compaction