黄海军@SelectDB 5218

• asked Aug 8, 2024

【最佳实践】数据副本问题排查指南

一、问题现象 问题日志：查询报错 {code...} 低版本的doris可能不含这个SQL， 如果不支持这个SQL且是单副本的，那救不回来了。 如果没问题，使用 select count(*) from table_xx 查看是否可读，可读则正常了。

content

3 votes

1 answers

1602 views

Jacob Cao 1

• asked Aug 8, 2024

在mysql客户端中，insert select 语句的 label 怎么获取？

python客户端中，如何获取insert 语句的 label 信息。 我在mysql命令行中执行 insert select 语句，会回显这个信息：{'label':'insert_3ae65bb1ee5b4b55_a1dacc7474d6525e', 'status':'VISIBLE', 'txnId':'45259440'} 但是在java的mysql 客户端和python...

1.2

0 votes

2 answers

92 views

FishMAN 13

• asked Aug 8, 2024

Doris无法支持读取路径数据且读取S3数据需要明文的ak和sk影响数据安全

目前有两个生产实际述求，希望社区能够支持： 1、支持跟spark sql一样，能够读取路径数据，同时根据指定的路径还能读取到下级路径的数据 用spark举例： {code...} s3://xxxx/tbl=table01/cur_date=20240720/ 路径下还有cur_hour=xxx_hour/分区， 希望doris能够实现这样的需求 2、读取s3数据需要用明文的ak和sk，这个是不利于生产环境的数据安全 官方文档： [https://doris.apache.o...

3.0 2.1 2.0

0 votes

1 answers

85 views

yadao 29

• asked Aug 8, 2024

[sql] date类型作为条件时, doris在异常情况下表现与mysql不一致

ddl {code...}

2.0

0 votes

2 answers

136 views

鲁汀 25

• asked Aug 8, 2024

SQL集合运算符语法优化

感觉集合运算符的语法很奇怪, 不加 where 条件时, 只有 union 可以接受换行写下一个 select, 其他 intersect, except, minus 都会报错, 不能换行, 一定要关键字后接 select 加 where 后, intersect 和 except 就可以换行写下一个 select, 但是 minus 无论换行还是不换行都会报错 不加 where {code...} doris: 2.1.5 目前doris只实现了UNION, 还没有 IN...

2.1 query

0 votes

2 answers

206 views

海中之龙 13

• asked Aug 8, 2024

Doris使用Kafka Routine Load任务被暂停

Doris版本：2.0.8 目标表数据量：71669405条 kafka导入任务创建语句： {code...} 通过Offset查Kafka有新数据： 原因分析： 导入作业被暂停。 疑问：并未手动暂停过任务，集群重启过，如何排查导入任务为何被暂停？

2.0

0 votes

1 answers

129 views

shifang 7

• asked Aug 8, 2024

doris 集群 执行不了sql

doris版本：2.0.7 集群配置：128C+256G，5台，3FE+5BE，混部 现象：通过mysql 客户端能提交sql，但是不返回执行结果，整个集群没反应，通过观察集群的,cpu,内存，io的使用率，都很低，不超过20%，通过查询审计表查询，同一个时间点提交的sql只有40个左右。 从be的warn，日志中发现很多如下的信息， Couldn't open transport for XXX:9021 (socket open() error: Connecti...

2.0

0 votes

1 answers

90 views

AWeiFighting 1

• asked Aug 8, 2024

2.1.2版本历史数据迁移问题（旧表为JSON字段类型，新表为Variant字段类型）

旧表（28GB，1000万行左右的数据）为一个Duplicate模型，某个字段是JSON类型，现在新建了一张表为Unique模型，某个字段是Variant类型，在尝试旧表数据迁移到新表，并且Variant字段类型去替代JSON字段类型的insert into select过程中，每次执行这个语句，be节点都会挂掉或者这个sql执行的时候cancelled。

2.1

0 votes

3 answers

94 views

changguowei 199

• asked Aug 7, 2024

database指定了replication_allocation，创建表时默认还是指向tag.location.default: 1，这是bug吗？

Doris2.1.5版本 现象： 创建数据库并指定了数据副本分布replication_allocation属性，但是创建表时，"replication_allocation"默认还是指向了"tag.location.default: 1", BE情况 创建数据库并指定了数据副本分布 但是创建表时，"replication_allocation"默认还是指向了"tag.location.default: 1" s...

2.1

0 votes

1 answers

244 views

yadao 29

• asked Aug 7, 2024

[BE] insert...select语法某行数据报算术溢出([E-124][E-124] Arithmetic overflow), 但无法看出是哪一列

问题 之前doris批量写数据的过程中, 如果出现字段相关的报错日志里面会给出具体报错字段对应的url, 但这次的算术溢出没有, 这是bug吗? 本次问题因为只有一个decimal字段有明显的精度差异, 如果数值类型的字段数量比较多的话, 人肉去核对比较困难, 能提示出具体是哪个字段报错方便开发人员去排查 ddl如下: {code...}

2.0

0 votes

1 answers

282 views