2.1.5,select count查询表数据多次执行结果不一样

Viewed 51

执行select count(1) from cmcc_dws.dws_kids_play_base_stat_mm where day='2024-11-01';
多次查询结果不一样,有时候数量是对的,有时候是真实数据的两倍。
Doris版本2.1.5.
建表语句:

CREATE TABLE `dws_kids_play_base_stat_mm` (
  `day` DATE NOT NULL,
  `partner_code` VARCHAR(255) NULL,
  `province_code` VARCHAR(255) NULL COMMENT '省份编码',
  `city_code` VARCHAR(255) NULL COMMENT '地市编码',
  `mac` VARCHAR(255) NULL COMMENT '用户唯一标识',
  `province_name` VARCHAR(255) NULL COMMENT '省份名称',
  `city_name` VARCHAR(255) NULL COMMENT '地市名称',
  `district_code` VARCHAR(255) NULL COMMENT '区县编码',
  `district_name` VARCHAR(255) NULL COMMENT '区县名称',
  `ip` VARCHAR(255) NULL COMMENT '终端IP',
  `user_id` VARCHAR(255) NULL COMMENT '用户ID',
  `pingback_version` VARCHAR(255) NULL COMMENT 'Pingback版本',
  `os_version` VARCHAR(255) NULL COMMENT '操作系统版本号',
  `hardware_channel_id` VARCHAR(255) NULL COMMENT '硬件厂商渠道ID',
  `hardware_channel_name` VARCHAR(255) NULL COMMENT '硬件厂商渠道名称',
  `hardware_vendor_info` VARCHAR(255) NULL COMMENT '硬件厂商信息',
  `resolution` VARCHAR(255) NULL COMMENT '屏幕分辨率',
  `client_version` VARCHAR(255) NULL COMMENT '客户端版本',
  `stb_id` VARCHAR(255) NULL COMMENT '盒子硬件序列号',
  `cp_id` INT NULL COMMENT '内容源',
  `cp_name` VARCHAR(255) NULL COMMENT '内容源名称',
  `cp_type` INT NULL COMMENT '内容源类型',
  `channel_id` INT NULL COMMENT '频道ID',
  `channel_name` VARCHAR(255) NULL COMMENT '频道名称',
  `album_id` VARCHAR(255) NULL COMMENT '落地页面专辑ID',
  `album_name` VARCHAR(255) NULL COMMENT '落地页面专辑名',
  `video_id` VARCHAR(300) NULL COMMENT '落地页面视频ID',
  `video_name` VARCHAR(255) NULL COMMENT '落地页面视频名称',
  `video_type_id` INT NULL COMMENT '落地页面视频类型ID',
  `video_type_name` VARCHAR(255) NULL COMMENT '落地页面视频类型名称',
  `src_action_id` INT NULL COMMENT '动作源ID',
  `src_action_name` VARCHAR(255) NULL COMMENT '动作详细源名',
  `src_ad_creative_id` VARCHAR(255) NULL COMMENT '来源广告创意ID',
  `src_ad_material_id` VARCHAR(255) NULL COMMENT '广告素材ID',
  `jf_src_id` VARCHAR(255) NULL COMMENT '来源产品线ID',
  `app_mark` VARCHAR(255) NULL COMMENT 'UUID,唯一标识合作伙伴的ID',
  `album_qiyi_fee` INT NULL COMMENT '爱奇艺是否付费',
  `album_gitv_fee` INT NULL COMMENT '银河是否收费',
  `is_continue_play` INT NULL COMMENT '是否续播',
  `album_type_tags` VARCHAR(255) NULL COMMENT '专辑类型标签',
  `album_district_tags` VARCHAR(300) NULL COMMENT '专辑地域标签',
  `album_time_tags` VARCHAR(255) NULL COMMENT '专辑年代标签',
  `album_age_tags` VARCHAR(255) NULL COMMENT '专辑适合年龄标签',
  `album_gender_tags` VARCHAR(300) NULL COMMENT '专辑适合性别标签',
  `album_directors` VARCHAR(300) NULL COMMENT '专辑导演信息',
  `album_actors` VARCHAR(500) NULL COMMENT '专辑演员信息',
  `play_pv` BIGINT NULL COMMENT '起播次数',
  `pause_pv` BIGINT NULL COMMENT '暂停次数',
  `pause_duration` BIGINT NULL COMMENT '暂停时长',
  `caton_pv` BIGINT NULL COMMENT '卡顿次数',
  `caton_duration` BIGINT NULL COMMENT '卡顿时长',
  `exit_pv` BIGINT NULL COMMENT '退播次数',
  `play_duration` BIGINT NULL COMMENT '播放时长',
  `valid_play_duration` BIGINT NULL COMMENT '有效播放时长',
  `bi_insert_time` VARCHAR(255) NULL COMMENT 'BI数据写入时间',
  `jf_src_x` VARCHAR(255) NULL COMMENT '外部来源产品线X轴',
  `jf_src_y` VARCHAR(255) NULL COMMENT '外部来源产品线Y轴',
  `jf_src_module_id` VARCHAR(255) NULL COMMENT '外部来源产品线父区域ID',
  `jf_src_module_name` VARCHAR(255) NULL COMMENT '外部来源产品线父区域名称',
  `jf_src_module_position` VARCHAR(255) NULL COMMENT '外部来源产品线父区域位置',
  `jf_src_position` VARCHAR(255) NULL COMMENT '外部来源产品线海报位置',
  `jf_src_waterfall_page_id` VARCHAR(255) NULL COMMENT '外部来源产品线页面id',
  `jf_src_waterfall_page_name` VARCHAR(255) NULL COMMENT '外部来源产品线页面名称',
  `jf_src_area_type` VARCHAR(255) NULL COMMENT '外部跨产品线页面区域类型',
  `jf_src_package_name` VARCHAR(255) NULL COMMENT 'APK应用包名',
  `jf_src_partner` VARCHAR(255) NULL COMMENT '来源合作伙伴',
  `jf_fs_waterfall_page_id` VARCHAR(255) NULL COMMENT '来源产品线父页面id',
  `jf_fs_waterfall_page_name` VARCHAR(255) NULL COMMENT '来源产品线页面名称',
  `jf_src_sub_module_name` VARCHAR(255) NULL COMMENT '外部来源产品线子区域名称',
  `jf_src_sub_module_position` VARCHAR(255) NULL COMMENT '外部来源产品线子区域位置',
  `jf_src_product_code` VARCHAR(255) NULL COMMENT '应用编码',
  `vip_user` INT NULL COMMENT 'vip用户',
  `src_content_id` VARCHAR(65533) NULL COMMENT '起跳页内容ID',
  `src_content_name` VARCHAR(65533) NULL COMMENT '起跳页内容名称',
  `src_content_type` VARCHAR(65533) NULL COMMENT '起跳页内容类型',
  `src_sub_content_id` VARCHAR(65533) NULL COMMENT '起跳页子分类内容ID',
  `src_sub_content_name` VARCHAR(65533) NULL COMMENT '起跳页子分类内容名称',
  `src_sub_content_type` VARCHAR(65533) NULL COMMENT '起跳页子分类内容类型',
  `src_page_id` VARCHAR(65533) NULL COMMENT '起跳页页面ID',
  `src_page_name` VARCHAR(65533) NULL COMMENT '起跳页页面名称',
  `src_waterfall_page_id` VARCHAR(65533) NULL COMMENT '来源瀑布流页面ID',
  `src_waterfall_page_name` VARCHAR(65533) NULL COMMENT '来源瀑布流页面名称',
  `src_module_id` VARCHAR(65533) NULL COMMENT '来源区域ID',
  `src_module_name` VARCHAR(65533) NULL COMMENT '来源区域名称',
  `src_module_position` VARCHAR(65533) NULL COMMENT '来源区域位置',
  `src_recommend_name` VARCHAR(65533) NULL COMMENT '来源推荐位名称',
  `src_recommend_type` VARCHAR(65533) NULL COMMENT '来源推荐位类型',
  `src_recommend_form` VARCHAR(65533) NULL COMMENT '来源推荐位版式',
  `src_x` VARCHAR(65533) NULL COMMENT '来源X轴',
  `src_y` VARCHAR(65533) NULL COMMENT '来源Y轴',
  `src_xyz` VARCHAR(65533) NULL COMMENT '来源扩展位置参数',
  `src_position` VARCHAR(65533) NULL COMMENT '来源位置块',
  `f_content_type` VARCHAR(65533) NULL COMMENT '上级分类内容类型',
  `f_waterfall_page_id` VARCHAR(65533) NULL COMMENT '上级瀑布流页面ID',
  `f_waterfall_page_name` VARCHAR(65533) NULL COMMENT '上级瀑布流页面名称',
  `f_module_id` VARCHAR(65533) NULL COMMENT '上级区域ID',
  `f_module_name` VARCHAR(65533) NULL COMMENT '上级区域名称',
  `f_x` VARCHAR(65533) NULL COMMENT '父来源X轴',
  `f_y` VARCHAR(65533) NULL COMMENT '父来源Y轴',
  `f_xyz` VARCHAR(65533) NULL COMMENT '父来源扩展位置参数',
  `f_position` VARCHAR(65533) NULL COMMENT '父来源推荐位位置',
  `f_src_action_id` INT NULL COMMENT '父流量来源',
  `f_src_action_name` VARCHAR(65533) NULL COMMENT '父流量来源名称',
  `role_id` VARCHAR(65533) NULL COMMENT '角色id',
  `role_name` VARCHAR(65533) NULL COMMENT '角色名称',
  `content_art` DOUBLE NULL COMMENT '内容倾向-艺术得分',
  `content_society` DOUBLE NULL COMMENT '内容倾向-社会得分',
  `content_health` DOUBLE NULL COMMENT '内容倾向-健康得分',
  `is_contag` INT NULL COMMENT '是否包含五维标签',
  `content_language` DOUBLE NULL COMMENT '内容倾向-语言得分',
  `content_science` DOUBLE NULL COMMENT '内容倾向-科学得分',
  `business_id` VARCHAR(65533) NULL COMMENT '运营商ID',
  `business_name` VARCHAR(65533) NULL COMMENT '运营商名称',
  `partner_mapping_code` VARCHAR(65533) NULL COMMENT '合作伙伴mappingcode',
  `partner_mapping_name` VARCHAR(65533) NULL COMMENT '合作伙伴mapping名称',
  `partner_name` VARCHAR(65533) NULL COMMENT '合作伙伴名称',
  `hardware_channel_code` VARCHAR(65533) NULL COMMENT '渠道code',
  INDEX bitmap_index_album_name (`album_name`) USING BITMAP,
  INDEX bitmap_user_id (`user_id`) USING BITMAP COMMENT 'bitmap_user_id'
) ENGINE=OLAP
DUPLICATE KEY(`day`, `partner_code`, `province_code`, `city_code`)
COMMENT 'OLAP'
PARTITION BY RANGE(`day`)()
DISTRIBUTED BY HASH(`day`) BUCKETS 2
PROPERTIES (
"replication_allocation" = "tag.location.default: 3",
"min_load_replica_num" = "-1",
"bloom_filter_columns" = "channel_name, vip_user, cp_name, partner_code, album_gitv_fee, province_name",
"is_being_synced" = "false",
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "MONTH",
"dynamic_partition.time_zone" = "Asia/Shanghai",
"dynamic_partition.start" = "-2147483648",
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "dws_kids_play_mm_",
"dynamic_partition.replication_allocation" = "tag.location.default: 3",
"dynamic_partition.buckets" = "2",
"dynamic_partition.create_history_partition" = "true",
"dynamic_partition.history_partition_num" = "36",
"dynamic_partition.hot_partition_num" = "0",
"dynamic_partition.reserved_history_periods" = "NULL",
"dynamic_partition.storage_policy" = "",
"dynamic_partition.storage_medium" = "HDD",
"dynamic_partition.start_day_of_month" = "1",
"storage_format" = "V2",
"inverted_index_storage_format" = "DEFAULT",
"compression" = "ZSTD",
"light_schema_change" = "true",
"disable_auto_compaction" = "false",
"enable_single_replica_compaction" = "false",
"group_commit_interval_ms" = "10000",
"group_commit_data_bytes" = "134217728"
);
2 Answers

执行这个看看新优化器开了没,没开的话开一下再查询
show variables like "%planner%"

另外set use_fix_replica = 0/1/2分别多次执行下sql,看看结果稳定不

image.png
有一个没开需要开一下吗?