BingzZ 11

• asked Jan 20

集群某个用户的99th Latency过高，但是没找到该用户的查询

查看监控发现有个用户的99th Latency过高， 但是通过 SHOW PROCESSLIST; SELECT * FROM information_schema.active_queries; 查看没有发现存在这个用户的任何查询，这是为什么呢？ Doris版本2.1.7

2.1 cluster

0 votes

1 answers

39 views

XQG 15

• asked Jan 20

Doris 当做ETL使用, 大批量数据提示内存不足

Doris 版本 Doris: 2.1.11 Doris 集群规模 Doris FE: 3个(16c 64g) Doris BE: 总共6个, 分别为 3个(16c 64g) 3个(32c 96g) BE conf: 配置过 mem_limit = 80% 默认: 90% 报错日志1 {code...} 使用场景 场景: source_tbl1 表里面的分区限制后, 有将近1亿数据量, 需要写入目标表, 报错信息如上, 这种是属于标准的内存不足吗?

2.1

0 votes

1 answers

98 views

wangwenbo 11

• asked Jan 20

创建异步物化视图视图后发现无法命中

版本信息：Doris v2.1.6 创建物化视图 CREATE MATERIALIZED VIEW mv_wwb_test5 BUILD IMMEDIATE REFRESH AUTO ON SCHEDULE EVERY 10 hour DISTRIBUTED BY RANDOM BUCKETS 3 PROPERTIES ('replication_num' = '1') as select F5.dt AS dt, F5.ALL_ AS ALL...

mtmv

0 votes

2 answers

70 views

erdong 11

• asked Jan 19

streamload 列转换

streamload导入json数据到doris时(json key和表列名完全一致)，想对某列做一些简单的转换，例如col3=lower(col3), 此时columns配置需要指定所有字段吗？ 全部列指定：columns：col1,col2,col3=lower(col3) 部分列指定：columns：col3=lower(col3) 部分列指定的方式是否可行，col1,col2的值会不会丢

2.1 ingestion

0 votes

1 answers

36 views

3

• asked Jan 16

spark 写到doris不能写指定列进去

spark版本：3.4.4 spark-doris-connector版本： spark-doris-connector-spark-3.4-25.2.0 doris版本：v4.0.1 问题：数据库有多个字段，指定写入2个字段，写入数据失败。 数据库字段如下： 代码如下： dataset查询的数据打印如下： 报错如下：

catalog

0 votes

1 answers

66 views

chensheng 11

• asked Jan 16

Resource Group 和 Workload Group 能同开启吗？

Resource Group 和 Workload Group 能同开启吗？想了解2.1.7 和 4.x 版本两个版本的

2.1 cluster

0 votes

1 answers

45 views

wxx 1

• asked Jan 16

doris版本选择

计划采用doris做统一日志管理平台，数据需要保存3年。。如果按天分区是否支持，大家能否推荐一个稳定版本，金融行业。

demand

0 votes

1 answers

87 views

MapleStory 1

• asked Jan 15

Doris 索引问题

背景说明： 当前 Doris 采用存算分离部署架构：热数据存储在本地 NVMe 上，通过 FileCache 进行缓存；冷数据存储在 S3 上，查询时按需拉取； 现对一张约 700 亿行、压缩后约 3TB 的大表进行查询性能测试，对比热存与冷存场景下的查询性能表现。 问题描述： 在清空 Doris 本地 FileCache 并重启 BE 节点后，对该表执行第一次主键查询，查询耗时接近 2 分钟。查询完成后发现本地 FileCache 目录新增了约 60GB 的缓存文件。请问这...

decoupled query performance

0 votes

1 answers

87 views

gotkite 1

• asked Jan 15

Doris 4.0.1 存算分离，误删HDFS数据后报错

在前期部署时，由于手动删除了未被回收的HDFS的一个目录，在往后的日志就频繁的持续报错，如图： 请问大佬们有什么措施可以解决该报错？

4.0

0 votes

1 answers

65 views

江南 9

• asked Jan 15

小批量写入一个be不好用导致整个集群不好用

doris版本2.1.8、3FE3BE、16C64G 大哥们请问一下会不会出现一个be不好用导致整个集群不好用的情况，现在发现当小批量并发写入过多时会出现某个be节点一直报rpc time out，然后这个时候整个集群好像都是不可用的，服务一直报错连接doris超时。 还有一个问题是这种小批量写入，大概能支持到多少次一秒，现在我们的模式是5个flinkcdc监控mysql的变化写入doris，总出现这个问题。或者有什么方案能绕过吗？Group Commit模式好像对主键模式的...

2.1

0 votes

1 answers

84 views