海中之龙 13

• asked Aug 8, 2024

Doris使用Kafka Routine Load任务被暂停

Doris版本：2.0.8 目标表数据量：71669405条 kafka导入任务创建语句： {code...} 通过Offset查Kafka有新数据： 原因分析： 导入作业被暂停。 疑问：并未手动暂停过任务，集群重启过，如何排查导入任务为何被暂停？

2.0

0 votes

1 answers

94 views

shifang 7

• asked Aug 8, 2024

doris 集群 执行不了sql

doris版本：2.0.7 集群配置：128C+256G，5台，3FE+5BE，混部 现象：通过mysql 客户端能提交sql，但是不返回执行结果，整个集群没反应，通过观察集群的,cpu,内存，io的使用率，都很低，不超过20%，通过查询审计表查询，同一个时间点提交的sql只有40个左右。 从be的warn，日志中发现很多如下的信息， Couldn't open transport for XXX:9021 (socket open() error: Connecti...

2.0

0 votes

1 answers

64 views

AWeiFighting 1

• asked Aug 8, 2024

2.1.2版本历史数据迁移问题（旧表为JSON字段类型，新表为Variant字段类型）

旧表（28GB，1000万行左右的数据）为一个Duplicate模型，某个字段是JSON类型，现在新建了一张表为Unique模型，某个字段是Variant类型，在尝试旧表数据迁移到新表，并且Variant字段类型去替代JSON字段类型的insert into select过程中，每次执行这个语句，be节点都会挂掉或者这个sql执行的时候cancelled。

2.1

0 votes

3 answers

60 views

changguowei 199

• asked Aug 7, 2024

database指定了replication_allocation，创建表时默认还是指向tag.location.default: 1，这是bug吗？

Doris2.1.5版本 现象： 创建数据库并指定了数据副本分布replication_allocation属性，但是创建表时，"replication_allocation"默认还是指向了"tag.location.default: 1", BE情况 创建数据库并指定了数据副本分布 但是创建表时，"replication_allocation"默认还是指向了"tag.location.default: 1" s...

2.1

0 votes

1 answers

151 views

yadao 29

• asked Aug 7, 2024

[BE] insert...select语法某行数据报算术溢出([E-124][E-124] Arithmetic overflow), 但无法看出是哪一列

问题 之前doris批量写数据的过程中, 如果出现字段相关的报错日志里面会给出具体报错字段对应的url, 但这次的算术溢出没有, 这是bug吗? 本次问题因为只有一个decimal字段有明显的精度差异, 如果数值类型的字段数量比较多的话, 人肉去核对比较困难, 能提示出具体是哪个字段报错方便开发人员去排查 ddl如下: {code...}

2.0

0 votes

1 answers

237 views

yadao 29

• asked Aug 7, 2024

[sql] union语句后跟limit, doris与mysql&dm表现不一致

对于union语句, limit的范围doris是最后一句, 而在mysql和达梦里面都是对整个sql有效, 这是bug还是因为分布式的数据存储带来的一个特性呢? {code...}

2.0

0 votes

1 answers

174 views

rabbit 1

• asked Aug 7, 2024

maxcompute查询事务表报错不支持此方法

问题：maxcompute表是事务主键表，支持Upsert入库；但是在doris执行查询报错不支持此类型，有望支持嘛🌹~ 场景：使用catalog接入maxcompute数据源查询数据，插入doris中。 参考：https://help.aliyun.com/zh/maxcompute/user-guide/table-operations-1?spm=a2c4g.11186623.0.0.1b09b22585yxv1#4be4a2800f8td 示例： 1.SELECT *...

2.1 catalog

0 votes

2 answers

69 views

泽功 5

• asked Aug 7, 2024

2.1.3 Base compaction 执行时间

Base compaction 是只会在 20:00 到4:00执行么 磁盘日常使用时发现负载较高 看监控中的描述Base compaction 只会在20:00 到4:00 执行，但是看监控是一直在执行，这个合并导致集群在日常使用时较慢，这个合并的时间如何去控制,没有在文档中发现可配置时间项

2.1

0 votes

1 answers

78 views

changguowei 199

• asked Aug 7, 2024

count(distinct)超时问题

Doris版本2.1.5 BE服务器配置：16核32GB 我们使用了workload group机制，且开启了CPU和内存硬限制 workload group默认组(normal) memory_limit: 34% cpu_hard_limit: 20% workload group定时任务组(ad_group) memory_limit: 45% cpu_hard_limit: 65% 说明：定时任务使用的都是ad_group组下的资源查询；个人账号查询都用normal组...

2.1

0 votes

1 answers

97 views

sqffly 15

• asked Aug 7, 2024

json行转列问题

请问目前Doris能处理出这样的目标数据吗，sql应该怎么写 {code...}

2.1

0 votes

2 answers

109 views