李金石033 3

• asked Nov 8, 2024

使用flink-doris-connector连接器开启攒批模式写入写入效率很慢,共有上百万的每两分钟写一次几百条数据，设置了攒批的条数1w好像没触发，总是出发两分钟的时间间隔

SET 'execution.checkpointing.interval' = '3min'; SET 'execution.checkpointing.timeout' = '300min'; SET 'cluster.evenly-spread-out-slots'='true'; SET 'table.exec.state.ttl' = '86400...

2.1

0 votes

2 answers

153 views

耳东 11

• asked Nov 8, 2024

【已解决】doris 2.0 删除数据

请问下doris duplicate 表删数据是不是一个比较重的操作，例如有个月分区的表，要删除某个分区中的某一天的数据，是不是会将整个分区的数据重写一次？ 推荐哪种比较高效的方法 直接delete xx where date=xxx, 先select分区数据出来过滤掉要删的，再覆盖回原分区 其它

2.0 faq

0 votes

1 answers

84 views

huangjinrong 3

• asked Nov 8, 2024

【已解决】使用 Flink CDC 接入Postgresql多表或整库异常

Doris版本：doris-2.1.6-rc04-653e315ba5 Doris连接器版本：flink-doris-connector-1.16-1.6.2.jar PostgresqlCDC版本：flink-sql-connector-postgres-cdc-3.0.1.jar 问题现象： 首次启动时报错 在Doris下其实已经自动建了这个表 换了版本还是报相同的错 新版本： flink-sql-connector-postgres-cdc-3.1.0.jar flin...

2.1 catalog

0 votes

1 answers

101 views

____ 5

• asked Nov 8, 2024

Doris 2.1.5 升级->2.1.7-rc1，FE Master 无限crash问题

2.1.5 升级 git release 2.1.7-rc1 升级中 集群刚承接少部分业务，集群负载比较低，数据的写入方式为RoutineLoad 和 StramLoad doris-meta验证没有问题 BE节点升级没有问题 A B C为待升级的FE节点，其中A为 master 节点。 先升级B 到2.1.7，记录为B'，此时集群稳定 再升级C 到C’，此时集群稳定 升级A到A'时，B'被选为新Master，此时B在运行一段时间后（3~5s）Cras...

2.1 upgrade

0 votes

1 answers

264 views

solaris 45

• asked Nov 8, 2024

2.1.5，k8s版本偶发性错误： failed to get file size xxx

版本信息： k8s版本 2.1.5 在一台机器上安装了1个fe节点，2个be节点 错误信息： {code...}

2.1 operator cluster

0 votes

5 answers

214 views

linz 1

• asked Nov 8, 2024

聚合模型下 不同的select 表达式，性能差异大

建表语句： {code...} 主要的差异是 VOlapScanNode PREAGGREGATION，性能好的sql是开启的，性能查的是off。 问题： 1.不太明白为什么性能查的sql，无法开启PREAGGREGATION？ 2.性能的差异是不是就是PREAGGREGATION的差异导致的？ 3.有什么优化的办法？

performance 2.0

0 votes

1 answers

78 views

aalwd 13

• asked Nov 8, 2024

2.1.5，doris导入遇到rpc调用超时

版本 : 2.1.5 导入遇到rpc调用超时 : open failed, err: [INTERNAL_ERROR]failed to open tablet writer, error=RPC call is timed out, error_text=[E1008]Reached timeout=60000ms 这个一般是什么原因, 怎么解决？

2.1 ingestion

0 votes

1 answers

161 views

zengyongchuan 31

• asked Nov 8, 2024

审计日志中存在一些没有SQL的慢查询

doris版本：2.1.5 OS版本：Rocky Linux release 8.5 节点数：3 从截图上看，这个慢查询中的 Stmt 没有对应的SQL，这是什么情况？

2.1

0 votes

1 answers

38 views

huanyuan 1

• asked Nov 8, 2024

oracle经过flink导入doris

image.png flink 版本是这个样子的， doris版本不确定，项目使用的具体依赖如下：image.png 已解决上面问题，现在遇到新的问题如下： image.png 我整个业务逻辑是读取oracle数据到doris中，我在读取的oracle数据的时候指定了格式转换，如下两张图：image.pngimage.png 以防万一，我把Oracle类型全部指定为BIGDECIMAL类型，在后续导入到doris的过程中，出现问题，一直报BIGDECIMAL转STRING出现...

2.1 2.0

0 votes

1 answers

41 views

xiaoli 1

• asked Nov 8, 2024

主键表遇到主键冲突怎么设置不更新表数据直接报错呢？？

设置主键模型后，insert into 插入重复数据，直接更新为最新数据；我想让数据库遇到重复数据直接报错不插入数据

3.0

0 votes

1 answers

60 views