dengd_z 1

• asked Oct 21, 2024

如果实现微批次计算？

看了一些用户案例其中提到了通过使用doris进行微批计算来实现近实时效果，想具体了解下怎么实现微批次？有没有大佬分享下经验？

mtmv 2.0

0 votes

1 answers

95 views

changguowei 199

• asked Oct 21, 2024

Doris2.1.5调整表冷数据分区副本数失败，如何处理？

Doris版本：2.1.5 表分区已变成冷数据存储到oss上，我这边变想把本地副本调整成2，此时操作报错，如何将本地tablet变成2副本？ 报错：Cannot cancel storage policy for partition which is already on code storage. SHOW TABLETS FROM ad_link.huan_ad_link_direct_log partitions(p20241004); ALTER TABLE ad_l...

2.1

0 votes

1 answers

43 views

huangjintao 1

• asked Oct 21, 2024

Doris 使用spark load的方式写入unique表任务阻塞

当使用spark load的方式将数据写入 unique表时，写入任务发生阻塞，并且集群两个FE的 max replayed journal id 差值增大，RPS 升高。日志报错如下： 会话状态如下： 表结构如图： 写入方式，先删除在插入 版本 2.0.14

2.0

0 votes

1 answers

36 views

pawnZzz 7

• asked Oct 21, 2024

Flink CDC写入Doris频繁出现版本过多

Doris版本：v2.1.5 Flink CDC：v3.0.2 异常信息： DorisBatchLoadException: stream load error: stream load error: [LABEL_ALREADY_EXISTS]TStatus: errCode = 2, detailMessage = Label [label-dorisb15e8cd5_0_ods_ddm_xiaoe_camp_pro_chapter_e07390e0-d422-456c-...

2.1

0 votes

2 answers

125 views

ivancxj 23

• asked Oct 21, 2024

3.0.2 fe.warn.log日志一直告警 [GroupCommitManager.updateLoadDataInternal():399] can not find backend id

版本：3.0.2 fe.warn.log日志一直报下面这个告警，请问如何排查 [GroupCommitManager.updateLoadDataInternal():399] can not find backend id: 12229430 2024-10-21 08:58:28,975 WARN (thrift-server-pool-7|132) [GroupCommitManager.updateLoadDataInternal():399] can not fin...

3.0

0 votes

1 answers

50 views

zlhxxx 170

• asked Oct 19, 2024

垃圾很大，ADMIN CLEAN TRASH 还无效

2.1

0 votes

1 answers

51 views

____ 1

• asked Oct 18, 2024

有没有doris的数据治理软件

请问一下有没有doris的数据治理软件？

catalog

0 votes

1 answers

113 views

cccc 1

• asked Oct 18, 2024

doris外部表方式增量同步数据，速度很慢

我目前通过doris外部表的方式，采集业务库的数据（亿级），利用子查询每次基于自增主键id（增量标识基于doris的目标表查询），增量同步10000条数据到doris目标库中，执行效率很低，不用子查询的情况下，执行效率正常，麻烦帮忙看看会是哪里存在问题？ 目前分析了profile文件，发现子查询和业务查询的sql被拆成了两条sql语句在不同be节点上执行了，求指教是不是这个原因导致的问题，需要怎么解决？ 外部表子查询，需要3m左右 {code...}

2.1

0 votes

1 answers

78 views

芥末0000 5

• asked Oct 18, 2024

max_user_connections占用不高，max_query_instances占用很高，导致查询报错

配置 32核 + 128Gb db1：fe + be db2：be 入库方式：stream_load 并发进程：500 问题 max_user_connections设置到2000，show proc "/current_backend_instances"记录到2000 max_user_connections设置到8000，show proc "/current_backend_instances"也记录到8000

2.1

0 votes

1 answers

55 views

like1981 1

• asked Oct 18, 2024

IPv6 部署FE join false问题

部署环境：BC-linux 8.2 和龙蜥8.6 等多个环境下，部署2.1.6版本，采用ipv6地址进行部署 参考官网教程部署 虚拟机环境，部署正常 实体主机，裸金属部署出现FE join 显示为false 尝试建表和查询均正常。 FE join 显示异常是否正常？希望提供些排查思路，join false的影响是什么？

2.1

0 votes

2 answers

92 views