huangjintao 1

• asked Oct 21, 2024

Doris 使用spark load的方式写入unique表任务阻塞

当使用spark load的方式将数据写入 unique表时，写入任务发生阻塞，并且集群两个FE的 max replayed journal id 差值增大，RPS 升高。日志报错如下： 会话状态如下： 表结构如图： 写入方式，先删除在插入 版本 2.0.14

2.0

0 votes

1 answers

25 views

pawnZzz 7

• asked Oct 21, 2024

Flink CDC写入Doris频繁出现版本过多

Doris版本：v2.1.5 Flink CDC：v3.0.2 异常信息： DorisBatchLoadException: stream load error: stream load error: [LABEL_ALREADY_EXISTS]TStatus: errCode = 2, detailMessage = Label [label-dorisb15e8cd5_0_ods_ddm_xiaoe_camp_pro_chapter_e07390e0-d422-456c-...

2.1

0 votes

2 answers

118 views

ivancxj 23

• asked Oct 21, 2024

3.0.2 fe.warn.log日志一直告警 [GroupCommitManager.updateLoadDataInternal():399] can not find backend id

版本：3.0.2 fe.warn.log日志一直报下面这个告警，请问如何排查 [GroupCommitManager.updateLoadDataInternal():399] can not find backend id: 12229430 2024-10-21 08:58:28,975 WARN (thrift-server-pool-7|132) [GroupCommitManager.updateLoadDataInternal():399] can not fin...

3.0

0 votes

1 answers

40 views

zlhxxx 140

• asked Oct 19, 2024

垃圾很大，ADMIN CLEAN TRASH 还无效

2.1

0 votes

1 answers

43 views

____ 1

• asked Oct 18, 2024

有没有doris的数据治理软件

请问一下有没有doris的数据治理软件？

catalog

0 votes

1 answers

108 views

cccc 1

• asked Oct 18, 2024

doris外部表方式增量同步数据，速度很慢

我目前通过doris外部表的方式，采集业务库的数据（亿级），利用子查询每次基于自增主键id（增量标识基于doris的目标表查询），增量同步10000条数据到doris目标库中，执行效率很低，不用子查询的情况下，执行效率正常，麻烦帮忙看看会是哪里存在问题？ 目前分析了profile文件，发现子查询和业务查询的sql被拆成了两条sql语句在不同be节点上执行了，求指教是不是这个原因导致的问题，需要怎么解决？ 外部表子查询，需要3m左右 {code...}

2.1

0 votes

1 answers

67 views

芥末0000 5

• asked Oct 18, 2024

max_user_connections占用不高，max_query_instances占用很高，导致查询报错

配置 32核 + 128Gb db1：fe + be db2：be 入库方式：stream_load 并发进程：500 问题 max_user_connections设置到2000，show proc "/current_backend_instances"记录到2000 max_user_connections设置到8000，show proc "/current_backend_instances"也记录到8000

2.1

0 votes

1 answers

48 views

like1981 1

• asked Oct 18, 2024

IPv6 部署FE join false问题

部署环境：BC-linux 8.2 和龙蜥8.6 等多个环境下，部署2.1.6版本，采用ipv6地址进行部署 参考官网教程部署 虚拟机环境，部署正常 实体主机，裸金属部署出现FE join 显示为false 尝试建表和查询均正常。 FE join 显示异常是否正常？希望提供些排查思路，join false的影响是什么？

2.1

0 votes

2 answers

62 views

____ 1

• asked Oct 18, 2024

doris_fe_image_write短时间上涨到77,并维持不动

Doris版本：2.0.8 doris manager监控image_write不为1，持续报错，请问这是什么原因，如何才能进行修复。 doris manager截图

2.0

0 votes

3 answers

33 views

tumg 5

• asked Oct 18, 2024

【2.1.4版本】left join的查询右表的字段时无法使用左表物化视图

其中report_hour的物化视图包含：date、timestamp、sum(times) ts_timezone_mapping 是个时区信息表，ttm_timestamp是该表的唯一键 【无法使用物化视图】查询场景：SELECT ttm_utc_0_date,SUM(times) AS times FROM report_hour LEFT JOIN ts_timezone_mapping ON timestamp = ttm_timestamp WHERE date=...

2.1

0 votes

1 answers

30 views