zoro 46

• asked Jun 9

broadcast 相关参数含义

官网上并没有查询到下来参数的含义： 在spark中 autoBroadcastJoinThreshold 设置的是文件大小，但是Doris中默认值0.8 明显不是文件大小，我想知道关于这些参数的含义，从而能更灵活的使用 broadcast join

2.1

0 votes

1 answers

35 views

____ 3

• asked Jun 7

bitmap精确去重 效率不如distinct？

我先建立了一张聚合表A，导入了大约1200万数据 然后又建立了一张聚合表B，设置了非key列的Z字段为 bitmap BITMAP_UNION 类型 然后使用如下sql将A表的数据导入到B表 insert into B (c,d,e,z) select c,d,e,bitmap_hash64(e) from A 使用 select count(distinct e) from B 耗时大概 0.5秒 左右，count结果 11631333 使用 select bitmap_u...

2.1

0 votes

2 answers

80 views

Azw_123 1

• asked Jun 7

[CANCELLED]failed to initialize storage reader. tablet=57732, res=[E-3110][INTERNAL_ERROR]different type between schema and column reader

Doris的版本是2.1.10的，使用minio做中转，进行数据迁移，迁移之后对这张表进行任何操作的时候都报这个错。 ERROR 1105 (HY000): errCode = 2, detailMessage = (mn-prd-doris-be-06)[CANCELLED]failed to initialize storage reader. tablet=58072, res=[E-3110][INTERNAL_ERROR]different type between...

2.1 ingestion demand

0 votes

1 answers

48 views

某某某某 54

• asked Jun 6

doris 偶发查询很慢

doris版本2.1.8 有的时候sql查询需要很长时间 而且查询的sql扫描的行数和数据大小也很小, 复制出来查询只需要几十毫秒。查看当时的fe日志如下： 我该怎么优化让查询时间变短

2.1

0 votes

1 answers

57 views

tiankx 3

• asked Jun 6

broker load大表导数较慢

集群信息： 版本：doris-2.1.6 配置：BE * 5, 每台机器的配置 96c, 256GB memory, 3.5TB(SSD) + 21TB(HDD) * 11 问题表现： hive表含很多map字段，单日分区2500万条数据，100GB orc文件，使用broker load导数到doris表variant，速度很慢，耗时约100min。 导数期间负载没有较大波动，BE Mem相比闲时多占用10GB，cpu几乎无波动。ScannedRows进度缓慢，尝试调节了m...

2.1 ingestion performance

0 votes

1 answers

65 views

will 1

• asked Jun 6

insert overwrite table 写入iceberg表报错

Path: [https://doris.apache.org/zh-CN/docs/3.0/lakehouse/datalake-building/iceberg-build/] I use INSERT OVERWRITE TABLE into iceberg table(create in catalog:"type" = "iceberg","iceberg.catalog.type" = "hms")....

3.0

0 votes

1 answers

25 views

ZheWang 3

• asked Jun 6

bdb过大，3FE因为其中一台机器故障导致fe启动不了，选定了一个fe作为master重新租了集群

重组集群（新建了原数据目录）后bdb依旧很大，可能是因为没有执行drop，老master不停的提示无法连接旧的FE（一直有告警get bad heartbeat response: type: FRONTEND, status: BAD, msg: java.net.ConnectException: Connection refused ）。请问这种情况应该如何修复？

2.0

0 votes

1 answers

44 views

eliam 1

• asked Jun 6

Spark读取Doris报错

我使用IDEA开发Spark任务希望读取到Doris表的数据，但是报错，麻烦大佬们指点指点： Doris版本：doris-2.0.2-rc05 Spark版本：3.3.1 连接器依赖： {code...} 报错信息： Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 ...

2.1

0 votes

1 answers

42 views

joel 3

• asked Jun 6

跪求大佬指导一下，doris be节点其中一个磁盘故障后更换新磁盘后无法重启be服务

我Doris集群中一个be节点共有10个盘，其中一个磁盘故障，挂载目录是/data06，我更换以后重新挂载到原来的目录(/data06)，然后磁盘目录能正常读写，权限也是跟原来一模一样，现在重启be时提示发现损坏的目录，具体日志如下： {code...}

2.1 cluster

0 votes

1 answers

62 views

erdong 11

• asked Jun 5

Doris manager 数据备份

准备使用doris manager升级2.0.4 doris集群，在看manager文档时看到全量停服升级时支持数据备份，这个备份是指什么？FE元数据备份和BE的业务数据备份？ 业务数据如果数据量很大(几十T)，这样要求集群是不是要双倍，而且这个升级过程会很漫长？

manager

0 votes

1 answers

87 views