椰子Echo@SelectDB 1061

• asked Mar 18, 2024

【2.1版本新特性】揭秘 Variant 数据类型：灵活应对半结构化数据，JSON 查询提速超 8 倍，存储空间节省 65%

半结构化数据是一种灵活多变的数据形式，不受固定结构限制，无需事先定义固定的表结构，为数据存储和分析提供了强大的灵活性及便捷性。常见的半结构化数据包括 XML、JSON、日志文件等。 在最新发布的 [Apache Doris 2.1 新版本中，我们引入了全新的数据类型 Variant，对半结构化数据分析能力进行了全面增强。Variant 数据类型支持存储半结构化数据，并支持存储包含不同数据类型（如整数、字符串、布尔值等）的复杂数据结构，无需提前在表结构中定义具体的列，彻底改变了...

content

1 votes

1 answers

84 views

椰子Echo@SelectDB 1061

• asked Mar 18, 2024

【2.1 版本新特性】Apache Doris 如何基于自增列满足高效字典编码等典型场景需求

自增列（auto_increment）是数据库中常见的一项功能，它提供一种方便高效的方式为行分配唯一标识符，极大简化数据管理的复杂性。当新行插入到表中时，数据库系统会自动选取自增序列中的下一个可用值，并将其分配给指定的列，无需用户手动干预。这种自动化的机制不仅简化了数据管理的流程，更确保了标识符的唯一性，让数据库维护变得更加便捷和可靠。 在分布式数据库中，由于自增序列的可用值分配涉及全局事务，这使自增列的实现存在一定难度。然而， Apache Doris 在 [2.1 版本中...

content

1 votes

1 answers

105 views

liu_ 15

• asked Mar 18, 2024

【已解决】异步物化视图refreshMethod为AUTO什么时候全量同步，什么时候增量同步呢？

IMMEDIATE立即刷新是指马上会更新数据的意思吗？ 因为官方文档示例这边，立即刷新设置每周刷新一次。所以这个立即刷新是用来设置定时的吗 {code...} 刷新方法有自动和全量，如果设置了AUTO什么时候触发增量刷新，什么时候触发全量更新呢？因为我的表数据量可能很大，担心全量刷新不过来。 refreshMethod : COMPLETE | AUTO ;

mtmv 2.1

0 votes

1 answers

105 views

sunqiang 3

• asked Mar 16, 2024

【已解决】doris 2.0.2 升doris 2.1.0 后，创建异步物化视图语法报错

创建语句： {code...}

mtmv 2.1 upgrade

0 votes

4 answers

449 views

huchaoqqqq 3

• asked Mar 16, 2024

【已解决】doris2.0.4对小数类型DECIMAL(38, 8)字段值进行计算报错"Arithmetic overflow"

本地doris版本 Doris version doris-2.0.4-rc06-7834fe1 操作步骤如下： 1、创建表 test_a CREATE TABLE test_a ( id BIGINT (20) NULL COMMENT '主键', decimal_t_38 DECIMAL (38, 8) NULL COMMENT 'decimalt38' ) ENGINE = OLAP UNIQUE KEY (id) COMMENT &#3...

2.0

0 votes

1 answers

201 views

阿帅 144

• asked Mar 15, 2024

【解决方案】UDF内包含资源文件造成OOM的问题。

OOM问题 如果一个UDF函数内部包含一个几百兆的资源文件。如果UDF入口类和资源文件在一个jar包中时。 会随着并行度，这些资源会被复制多份。 从而导致OOM异常。 解决方案 一：提高JVM堆内存 提高JAVA_OPT Xmx参数， 所有BE的be.conf。 二：将资源jar包和UDF入口类包分开 思路： 将资源包单独部署， 用其他轻量级的包引用这个资源包。 可以实现资源包在运行时只占用一份内存资源，多个并行度到处引用的效果。 1：先打包文件资源所在的包。此步略........

2.1 cluster practices

4 votes

1 answers

164 views

____ 3

• asked Mar 15, 2024

【已解决】请问doris所需的端口是什么通信协议？

请问doris所需的端口是什么通信协议？HTTP/TCP/UDP？

2.1

0 votes

1 answers

84 views

蜂蜜烤鸡翅 17

• asked Mar 15, 2024

【已解决】查询在某个时间段内性能突然下降

在2.0.3版本，突然某个时间点 sql会慢，持续几分钟后就恢复正常了； 查询从毫秒响应 延长到到 几秒了，期间没有什么特别操作，都是正常的页面查询。 想咨询一下 应该怎么排查问题，可以关注哪些指标？

2.0

0 votes

1 answers

66 views

海绵弟弟 3

• asked Mar 15, 2024

【已解决】字符编码问题咨询，上游utf8mb4特殊 ф 字符，同步doris发生改变

上游 mysql 8.0 环境，字符编码 utf8mb4 下游 doris 2.0.4 环境。fmodel 字段 varchar 类型 {code...} 初步判断： doris的varchar 是 utf8 类型存储的，utf8mb4 --> utf8 之间的转换导致产生差异。。 SELECT '470UF/25Vф8X14RX' = '470UF/25VФ8X14RX' doris 中执行 返回 0 。

2.0

0 votes

1 answers

104 views

____ 7

• asked Mar 15, 2024

【已解决】Doris 2.1.0 创建异步物化视图，提示 Unable to find a suitable base table for partitioning

基础表 动态分区，分区字段：time_stamp，格式：%Y-%m-%d %H:%i:%s 物化视图 异步物化视图，按天分区，分区字段：to_date(time_stamp)

mtmv 2.1

0 votes

2 answers

181 views