Lee 3

• asked Jun 10

flink更新Doris数据

使用flink1.17从kafka同步数据到doris2.1.10，Kafka只过来更新的字段，且字段不固定。能实现数据灵活列更新吗？

2.1

0 votes

1 answers

17 views

dolphinDoris 5

• asked Jun 10

doris 4.1.1 & minio 发现：让 minio cpu 和内存飙升

之前一直是使用 doris 3.1.x 版本，来读取 iceberg 中的数据。最近在调研 doris 4.1.1(最近版本). 在海量拉取数据，每个小时大概 百万 级别的数据量（ 每个分区：小于 1G, 文件数量小于 10）。现在发现导致minio的 cpu飙升和内存飙升。下面是 minio 的cpu 监控和内存监控情况 通过创建 iceberg catalog 来尝试读取数据。

catalog 4.1

0 votes

0 answers

20 views

gaoyanan 1

• asked Jun 10

Doris-Manager BE缩容失败

环境： Doris-Manager:v24.1.2 Doris:1.2.6 问题： 使用doris-manager进行BE节点的缩容过程中显示失败，但是查看SHOW BACKENDS;后端还在继续进行节点下线前的数据迁移工作。也就说数据还没有迁移完成，但是管理工具就已经要删除节点节点导致缩容失败。这个是什么原因造成的？doris-manager的缩容是有时间设置还是数据库的连接问题导致？ 这个是报错的一些日志，我看是由于主进程退出导致，但不知道什么原因导致主进程退出的“tim...

manager

0 votes

1 answers

14 views

ivin 16

• asked Jun 9

be streamload任务超时被取消但scanner线程出现coredump

{code...} 线上部署的doris 2.1.11 x86环境经常出现coredump问题 具体来说是发生在 utf8_check.cpp:335行 执行的是streamload数据导入过程， 00:28 streamload开始时间 00:58 streamload任务超时取消（1800秒） 04:xx 出现be coredump （coredump关联的query id和streamload的id是一致的 另外还观察到一条日志： ScanOperator: is_so...

2.1

0 votes

1 answers

24 views

JsonA 1

• asked Jun 9

求救DORIS当宕机，无法启动，付报错日志

fe Master节点一直报缺少元数据，现在无法启动，关键Follower节点强制设置MASTER失败，日志如下： 14:11:40,331 ERROR (stateListener|23) [EditLog.loadJournal():1458] replay Operation Type 45, log id: 81679384 java.lang.NullPointerException: Cannot invoke "org.apache.doris.cata...

4.0

0 votes

2 answers

20 views

mawenqiang 3

• asked Jun 9

Doris3.0.8，通过数据目录catalog连接GaussDB，查询语句默认会给表名、列名增加双引号，导致M模式的高斯数据库查询失败，如何解决？

Doris版本：3.0.8 GaussDB 数据库模式：M模式 jdbc驱动：Gauss提供的兼容postgre协议的 gsjdbc4.jar 创建catalog如下： CREATE CATALOG contract_60000007 properties( 'type' = 'jdbc', 'user' = 'rdsmom', 'password' = 'Smc@z9w6', &...

catalog

0 votes

1 answers

18 views

____ 3

• asked Jun 9

3.1.4 VARIANT 类型在聚合模型上的疑问

聚合表聚合了不同业务的指标，每个业务的检索字段是不一样的，于是想给聚合表的value列加上VARIANT类型字段，声明为REPLACE 但是按照官方文档说法，我想给子路径的一些字段加上布隆索引或倒排所以，却加不上去 {code...} 索引必须建立在key列上这个原理是明白的 但是我的业务场景就是不同指标的检索字段可能不太一样 原本的做法是将json(最多十来个字段)打平成 keyValue&keyValue 的字符串放在key列上，然后对这个列建立倒排索引，查询时通...

3.1

0 votes

1 answers

13 views

andy 1

• asked Jun 9

windows下docker desktop 下搭建doris容器的方法-及问题

说明 在本地开发、测试、SM场所下自行实验使用的本地环境，通常在windows下做技术尝试。自doris2.18版本之后可以在docker中快速部署doris。 官方地址：https://doris.apache.org/zh-CN/docs/2.1/gettingStarted/quick-start 一键部署方法 也可以使用第三方的方式，下方为自行研究的一键部署的命令： docker run -itd --name=doris4 --restart=always -v D...

storage content install community

0 votes

1 answers

13 views

chinatao 1

• asked Jun 8

doris 2.x 同步到哪个版本的doris 最稳定

一句话，请教一下各位高手： 公司老早以前有一个bi数据库，用的是doris2.x，然后现在，我需要同步一份数据到我们的环境，我们有自己的服务器，但是觉得doris2.x你把本太低了，我们想，我们服务器装一个doris的新版本，然后让dba把doris 2.x的表，同步到我们这个新版本的doris中，然后我们基于新版本的doris 版本做开发。 请问，我这个新版本，用哪个比较稳。 要求是，2.x可以稳定同步到新版本的doris。

3.0 2.1

0 votes

1 answers

22 views

yeyudefeng 3

• asked Jun 8

记录从3.0.4集群升级到3.1.4遇到的问题

记录从3.0.4集群升级到3.1.4遇到的问题 测试环境是单机的，3.0.8 升级到 3.1.4，1fe + 1be 生产环境是集群的，3.0.4 升级到 3.1.4，3fe + 4be 以下部分异常在测试环境升级没有出现，或者没有被发现。但是在生产环境出现了 升级服务基本正常 在线升级过程中导致了部分flink任务失败重试，并且最终flink任务失败告警，但是重启可以解决 有一个同事的flink任务依赖的是这个 {code...} 异常：Unknown column &#3...

3.0

0 votes

1 answers

45 views