5

• asked Jan 21

spark往doris写入数据时删除某些数据该如何配置

doris-2.1.10 scala-2.12 在之前我已经执行spark应用写入了一些数据在doris中，现在我根据操作通过withColumn给其中一些数据加上了删除标记： df.withColumn("should_delete",when(col("op") === "d", lit(1).otherwise(0))).drop("op") 当op为d时，表示这条数据之前已经写入了，现在要删除 然后按照查...

2.1

0 votes

1 answers

23 views

只爱吃糖不说话 3

• asked Jan 21

doris 2.1.11 查询结果错误

创建一个100w的表，使用 row_number + limit 查询的时候，结果集会重复 问题复现： CREATE TABLE test as WITH t as ( SELECT 0 as id UNION ALL SELECT 1 as id UNION ALL SELECT 2 as id UNION ALL SELECT 3 as id UNION ALL SELECT 4 as id UNION ALL SELECT 5 as id UNION ALL SELEC...

2.1

0 votes

1 answers

60 views

chyx018 7

• asked Jan 21

特定情况下锁表问题

doris2.1.6版本,开启kafka一流多表功能,在高并发查询情况下会有锁冲突，磁盘的读写归零。关闭一流多表,回退到一流一表的情况下恢复正常.这是由于什么问题导致的？后续哪个版本修复了这个问题？

2.1 ingestion

0 votes

1 answers

25 views

BingzZ 11

• asked Jan 20

集群某个用户的99th Latency过高，但是没找到该用户的查询

查看监控发现有个用户的99th Latency过高， 但是通过 SHOW PROCESSLIST; SELECT * FROM information_schema.active_queries; 查看没有发现存在这个用户的任何查询，这是为什么呢？ Doris版本2.1.7

2.1 cluster

0 votes

1 answers

26 views

XQG 15

• asked Jan 20

Doris 当做ETL使用, 大批量数据提示内存不足

Doris 版本 Doris: 2.1.11 Doris 集群规模 Doris FE: 3个(16c 64g) Doris BE: 总共6个, 分别为 3个(16c 64g) 3个(32c 96g) BE conf: 配置过 mem_limit = 80% 默认: 90% 报错日志1 {code...} 使用场景 场景: source_tbl1 表里面的分区限制后, 有将近1亿数据量, 需要写入目标表, 报错信息如上, 这种是属于标准的内存不足吗?

2.1

0 votes

1 answers

66 views

wangwenbo 11

• asked Jan 20

创建异步物化视图视图后发现无法命中

版本信息：Doris v2.1.6 创建物化视图 CREATE MATERIALIZED VIEW mv_wwb_test5 BUILD IMMEDIATE REFRESH AUTO ON SCHEDULE EVERY 10 hour DISTRIBUTED BY RANDOM BUCKETS 3 PROPERTIES ('replication_num' = '1') as select F5.dt AS dt, F5.ALL_ AS ALL...

mtmv

0 votes

2 answers

43 views

erdong 11

• asked Jan 19

streamload 列转换

streamload导入json数据到doris时(json key和表列名完全一致)，想对某列做一些简单的转换，例如col3=lower(col3), 此时columns配置需要指定所有字段吗？ 全部列指定：columns：col1,col2,col3=lower(col3) 部分列指定：columns：col3=lower(col3) 部分列指定的方式是否可行，col1,col2的值会不会丢

2.1 ingestion

0 votes

1 answers

23 views

3

• asked Jan 16

spark 写到doris不能写指定列进去

spark版本：3.4.4 spark-doris-connector版本： spark-doris-connector-spark-3.4-25.2.0 doris版本：v4.0.1 问题：数据库有多个字段，指定写入2个字段，写入数据失败。 数据库字段如下： 代码如下： dataset查询的数据打印如下： 报错如下：

catalog

0 votes

1 answers

35 views

chensheng 11

• asked Jan 16

Resource Group 和 Workload Group 能同开启吗？

Resource Group 和 Workload Group 能同开启吗？想了解2.1.7 和 4.x 版本两个版本的

2.1 cluster

0 votes

1 answers

32 views

wxx 1

• asked Jan 16

doris版本选择

计划采用doris做统一日志管理平台，数据需要保存3年。。如果按天分区是否支持，大家能否推荐一个稳定版本，金融行业。

demand

0 votes

1 answers

76 views