版本 doris-2.1.5-rc02-d5a02e095d
表象
FE凌晨宕机, 生产环境,服务器配置不低。 out文件输出如下
# java.lang.OutOfMemoryError: Compressed class space
异常前做过的操作
因业务侧总是投递非json数据导致例行导入任务中断。所有的在例行导入的过滤条件中加入了json校验。如下
CREATE ROUTINE LOAD data_platform_dw.uuid0010202502 ON ddp_user_flow_source
COLUMNS(eventTime,event_time=replace(eventTime,'T',' '),osCode,os_code=osCode,message),
-- 此处加入了校验json的逻辑。
where event_time is not null and os_code is not null and JSON_VALID(message) = 1
PROPERTIES
(
"desired_concurrent_number"="3",
"max_batch_interval" = "5",
"max_batch_rows" = "300000",
"max_batch_size" = "209715200",
"max_filter_ratio"="1.0",
"max_error_number"="10000",
"strict_mode" = "true",
"format" = "json"
)
FROM KAFKA
(
)
JSON_VALID(message) 个人有点怀疑是这个json校验促成了此次宕机。是一个计算量较大的函数, 因为昨天晚上我加入了这个逻辑, 凌晨就宕机了。
寻求
这个宕机的原因及如何配置, 降低这种宕机的出现概率。