liangyihan 7

• asked Mar 18, 2024

doris创建一个 WITH BROKER的 S3 远程仓库 s3_repo不成功

版本 doris：2.1.0 其他前置条件： Broker的名称为obs_broker CREATE REPOSITORY obs_repo WITH S3 ON LOCATION "s3://dorisbak" PROPERTIES ( "AWS_ENDPOINT" = "http://10.xxx.xx.x:9383", "AWS_ACCESS_KEY" = "admin", "AWS...

2.1

0 votes

2 answers

149 views

东方红 17

• asked Mar 18, 2024

【已解决】创建 routine load 报错

创建 Kafka routine load报错，这个怎么回事 ERROR 1105 (HY000): errCode = 2, detailMessage = Failed to get all partitions of kafka topic: rpt_table1 from backend[10072]. error: errCode = 2, detailMessage = failed to get kafka partition info: [(xxx.xxx.x...

2.0

0 votes

2 answers

220 views

caoliang 76

• asked Mar 18, 2024

【解决方案】flink-doris-connector 读取doris 并发不生效问题

flink 读取doris的时候，设置了flink并发，读取速度没有变化，是什么原因导致的呢

faq

0 votes

1 answers

143 views

caoliang 76

• asked Mar 18, 2024

【解决方案】routine load 执行一段时间后出现 Broker: Offset out of range

routine load 执行一段时间后，出现： ReasonOfStateChanged: ErrorReason{code=errCode = 104, msg='be 10004 abort task with reason: fetch failed due to requested offset not available on the broker: Broker: Offset out of range

faq

0 votes

1 answers

419 views

椰子Echo@SelectDB 1111

• asked Mar 18, 2024

【2.1版本新特性】揭秘 Variant 数据类型：灵活应对半结构化数据，JSON 查询提速超 8 倍，存储空间节省 65%

半结构化数据是一种灵活多变的数据形式，不受固定结构限制，无需事先定义固定的表结构，为数据存储和分析提供了强大的灵活性及便捷性。常见的半结构化数据包括 XML、JSON、日志文件等。 在最新发布的 [Apache Doris 2.1 新版本中，我们引入了全新的数据类型 Variant，对半结构化数据分析能力进行了全面增强。Variant 数据类型支持存储半结构化数据，并支持存储包含不同数据类型（如整数、字符串、布尔值等）的复杂数据结构，无需提前在表结构中定义具体的列，彻底改变了...

content

1 votes

1 answers

163 views

椰子Echo@SelectDB 1111

• asked Mar 18, 2024

【2.1 版本新特性】Apache Doris 如何基于自增列满足高效字典编码等典型场景需求

自增列（auto_increment）是数据库中常见的一项功能，它提供一种方便高效的方式为行分配唯一标识符，极大简化数据管理的复杂性。当新行插入到表中时，数据库系统会自动选取自增序列中的下一个可用值，并将其分配给指定的列，无需用户手动干预。这种自动化的机制不仅简化了数据管理的流程，更确保了标识符的唯一性，让数据库维护变得更加便捷和可靠。 在分布式数据库中，由于自增序列的可用值分配涉及全局事务，这使自增列的实现存在一定难度。然而， Apache Doris 在 [2.1 版本中...

content

1 votes

1 answers

215 views

liu_ 25

• asked Mar 18, 2024

【已解决】异步物化视图refreshMethod为AUTO什么时候全量同步，什么时候增量同步呢？

IMMEDIATE立即刷新是指马上会更新数据的意思吗？ 因为官方文档示例这边，立即刷新设置每周刷新一次。所以这个立即刷新是用来设置定时的吗 {code...} 刷新方法有自动和全量，如果设置了AUTO什么时候触发增量刷新，什么时候触发全量更新呢？因为我的表数据量可能很大，担心全量刷新不过来。 refreshMethod : COMPLETE | AUTO ;

mtmv 2.1

0 votes

1 answers

211 views

sunqiang 3

• asked Mar 16, 2024

【已解决】doris 2.0.2 升doris 2.1.0 后，创建异步物化视图语法报错

创建语句： {code...}

mtmv 2.1 upgrade

0 votes

4 answers

528 views

huchaoqqqq 3

• asked Mar 16, 2024

【已解决】doris2.0.4对小数类型DECIMAL(38, 8)字段值进行计算报错"Arithmetic overflow"

本地doris版本 Doris version doris-2.0.4-rc06-7834fe1 操作步骤如下： 1、创建表 test_a CREATE TABLE test_a ( id BIGINT (20) NULL COMMENT '主键', decimal_t_38 DECIMAL (38, 8) NULL COMMENT 'decimalt38' ) ENGINE = OLAP UNIQUE KEY (id) COMMENT &#3...

2.0

0 votes

1 answers

311 views

阿帅 144

• asked Mar 15, 2024

【解决方案】UDF内包含资源文件造成OOM的问题。

OOM问题 如果一个UDF函数内部包含一个几百兆的资源文件。如果UDF入口类和资源文件在一个jar包中时。 会随着并行度，这些资源会被复制多份。 从而导致OOM异常。 解决方案 一：提高JVM堆内存 提高JAVA_OPT Xmx参数， 所有BE的be.conf。 二：将资源jar包和UDF入口类包分开 思路： 将资源包单独部署， 用其他轻量级的包引用这个资源包。 可以实现资源包在运行时只占用一份内存资源，多个并行度到处引用的效果。 1：先打包文件资源所在的包。此步略........

2.1 cluster practices

4 votes

1 answers

267 views