2.1.5,Doris FE 宕机报错

Viewed 45

版本 doris-2.1.5-rc02-d5a02e095d

表象

FE凌晨宕机, 生产环境,服务器配置不低。 out文件输出如下

# java.lang.OutOfMemoryError: Compressed class space

异常前做过的操作

因业务侧总是投递非json数据导致例行导入任务中断。所有的在例行导入的过滤条件中加入了json校验。如下

CREATE ROUTINE LOAD data_platform_dw.uuid0010202502 ON ddp_user_flow_source
COLUMNS(eventTime,event_time=replace(eventTime,'T',' '),osCode,os_code=osCode,message),
-- 此处加入了校验json的逻辑。
where event_time is not null and os_code is not null and JSON_VALID(message) = 1
PROPERTIES 
( 
       "desired_concurrent_number"="3", 
       "max_batch_interval" = "5", 
       "max_batch_rows" = "300000", 
       "max_batch_size" = "209715200", 
       "max_filter_ratio"="1.0",
       "max_error_number"="10000",
       "strict_mode" = "true", 
       "format" = "json" 
) 
FROM KAFKA 
( 
)

JSON_VALID(message) 个人有点怀疑是这个json校验促成了此次宕机。是一个计算量较大的函数, 因为昨天晚上我加入了这个逻辑, 凌晨就宕机了。

寻求

这个宕机的原因及如何配置, 降低这种宕机的出现概率。

1 Answers

OutOfMemoryError可以调大fe.conf的-xmx,如果fe宕机可以看看fe.log/fe.out有没有什么相关异常日志