椰子Echo@SelectDB 1113

• asked Nov 19, 2024

【技术干货】兼顾高性能与低成本，浅析 Apache Doris 异步物化视图原理及典型场景

在现代化的数据分析场景中，数据量以指数级速度快速膨胀，分析维度在不断扩展，查询逻辑的复杂度也在日益增加。从性能角度考虑，在承担高并发查询的压力下，秒级别甚至更快的响应速度已成为基本需求。同时，面对有限的计算资源，成本及性能如何平衡，严格的资源管控也显得尤为重要。 物化视图作为一种有效的解决方案，兼顾了视图的灵活性和物理表的高性能。它可以预先计算并存储查询结果集，从而在查询请求到达时直接从物化视图中获取结果，而无需重新执行查询语句。这种机制有效提升了查询性能，降低了重复执行查询...

mtmv content

1 votes

1 answers

322 views

like 7

• asked Nov 19, 2024

2.1.5，doris非分区表，自动分桶分桶数不增加，麻烦大佬帮忙看下

doris2.1.5非分区表自动分桶功能在使用的时候，分桶数不增加为什么呢？ "estimate_partition_size" = "1G" {code...}

2.1

0 votes

2 answers

80 views

3

• asked Nov 19, 2024

使用operator部署的存算分离集群，改了密码后，计算节点重启报没有使用密码

我在operator中加了authSecret，fe生成的yaml引用了这个secret，但是cg没有引用，请问是我配置的有问题，还是其它什么问题

decoupled 3.0 operator

0 votes

1 answers

70 views

cuijun 1

• asked Nov 19, 2024

Doris 2.1.3-rc09 3个be，磁盘占用问题

故障前，3个be磁盘都是1.5T,占用都在50%左右，前天突然一个be的linux机器告警提示磁盘占用99.99%，查看 web system backends 中也是99%，当时没有其他办法，只能临时加到2T，故障解决，今天来查看，告警的BE的磁盘占用量也回落到1T左右 我们的表默认都是3个副本，刚开始时候3个be的占用量基本都差不多很均衡，现在差的比较大，要如何查询其中的原因 故障前我们同步过1张10多个亿的大表，flink显示差不多500个G的大下。

2.1 storage performance

0 votes

2 answers

62 views

Belief 9

• asked Nov 19, 2024

创建倒排索引导致数据无法写入问题

doris版本: 2.0.9 倒排索引字段 contents ,doris数据类型 text 索引创建语句：CREATE INDEX idx_on_longword_text_coment_index ON ods_longword_text(contents) USING INVERTED PROPERTIES("ignore_above"="104857600") COMMENT '页面内容倒排索引测试' 历史索引build...

2.0

0 votes

1 answers

38 views

Henray0607 5

• asked Nov 19, 2024

2.1.7，创建Bitmap索引失败

Bitmap索引是Doris 3.0才支持的吗？部署的是apache-doris-2.1.7 创建Bitmap索引成功，但是show create table却展示的是INVERTED类型索引？ [https://doris.apache.org/zh-CN/docs/3.0/table-design/best-practice#26-bitmap-] 索引 {code...}

2.1

0 votes

2 answers

56 views

____ 23

• asked Nov 19, 2024

2.1.7查询hudi 读取log文件出错

2.1

0 votes

2 answers

42 views

songhaifei 5

• asked Nov 19, 2024

doris1.2.4创建远端s3 REPOSITORY报错

CREATE REPOSITORY s3_repo WITH S3 ON LOCATION "s3://backup2" PROPERTIES ( "AWS_ENDPOINT" = "xxx.xxx.xxx.xxx:8082", "AWS_ACCESS_KEY" = "2sdfsfsfsdfsdfdsfsfENK", "AWS_SECRET_KEY"="E4sdfsdfsd...

2.1 1.2

0 votes

2 answers

29 views

justin 1

• asked Nov 19, 2024

jdbc:arrow-flight-sql 读取效率低于mysql jdbc 流式读取的效率

环境：doris2.1, 集群部署，4个fe，6个be,测试表30个字段，主键模型 未分区 分桶数12 doris官方文档中jdbc:arrow-flight-sql的效率是mysql jdbc 的几倍 但是实测下来，jdbc:arrow-flight-sql的远远低于mysql jdbc开启流式读取的效率 想知道是哪里的优化配置没有开启还是什么其他原因？

2.1 query

0 votes

2 answers

114 views

changguowei 199

• asked Nov 19, 2024

Doris2.1.7是否有查询所有库下所有正在运行的routine load任务命令？

目前查看正在运行的routine load任务命令如下： 查看单个routine load任务 SHOW ROUTINE LOAD FOR ad_link.huan_ad_link_adx_queue; 查看某个库下所有routine load任务 use ad_link; SHOW ROUTINE LOAD; 问题 1、如何一下列出所有库下所有正在运行的routine load任务？

2.1

0 votes

1 answers

56 views