icflew 21

• asked Feb 19, 2025

版本3.0.2 __internal_schema root 系统任务执行的sql是什么作用

场景是BE FE有混搭的节点，发现有查询被mem_limit阻止。根据query_id在审计日志里面查询到是root用户在__internal_schema的sql peak_memory_bytes很高。sql查询执行结构似乎是为了获取一个最小值和最大值，目标表数据量比较大 TB级别，想问下这种系统sql是什么作用？哪里有可以限制的参数？

3.0

1 votes

1 answers

64 views

luoluoluo 1

• asked Feb 19, 2025

查询数据缺失问题

在使用doris2.1.6版本的unique模型创建单表，当程序或者手工单条插入数据时，可查出数据，偶尔会出现过一天或者几天后查不到对应数据的情况 表的DDL如下： CREATE TABLE load_table ( table_id int NULL COMMENT '', sign_in varchar(255) NULL COMMENT '', sign_in_time datetime NULL DEFAULT CURRENT_TIME...

2.1

0 votes

1 answers

82 views

____ 5

• asked Feb 19, 2025

[2.1.5] be日志报错老化数据失败

日志中发现很多这种报错，show tablet 34639539查了下这个分片，是正常的。 发现一个问题是报错的是老化的17天前的数据，我冷数据设置时间是5d。 去obs看了下确实没有这个文件0200000000c99bafc947f97cd84537e05d3b41c2ebcfa886_0_34637650.idx 我查询最近30天的数据，是正常的，没有出现断点这种。

2.1

0 votes

1 answers

116 views

CL@SelectDB 3

• asked Feb 19, 2025

Doris支持建立Oss的分区外表么？

举例 -- 创建一个外部表来映射 OSS 的分区表 CREATE EXTERNAL TABLE oss_data_table ( column1 INT, column2 STRING, d_key STRING, -- 分区列 -- 根据实际文件中的列添加更多列 ) ENGINE=FILE PROPERTIES ( "partition_key" = "d_key", --支持多个 "uri" = "http://ex...

catalog

0 votes

2 answers

113 views

椰子Echo@SelectDB 1111

• asked Feb 19, 2025

【技术干货】数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）

湖仓一体架构融合了数据湖的低成本、高扩展性，以及数据仓库的高性能、强数据治理能力，高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设，Apache Doris 提出了数据无界和湖仓无界核心理念，并结合自身特性，助力企业加速从 0 到 1 构建湖仓体系，降低转型过程中的风险和成本。 本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍，欢迎阅读原文了解详情： [数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）]

catalog content

0 votes

1 answers

192 views

young 1

• asked Feb 19, 2025

Doris-Spark-connector JEC异常

Spark 3.3.1 Doris-Spark-connector 24.0.0 因为在Spark程序中有Hutool的加解密代码。所以使用的时候JDK JEC报错。说 Doris-Spark-connector 的jar包中有未签名的第三方文件。 因为我们没有对系统jdk的操作权限。所以社区是否有解决方案

2.1 ingestion

0 votes

1 answers

69 views

张涛 37

• asked Feb 19, 2025

routine load导入kafka数据时分区列读不到数据问题

新建表后，在kafka写入数据，routine load导入数据报错，显示分区列为空，但建表，routine load的语法都没问题，希望大佬协助看看。 以下是建表 CREATE TABLE tale_data ( province_name varchar(64) NOT NULL DEFAULT "" COMMENT '省份名称', main_data varchar(64) NOT NULL DEFAULT "" COMM...

2.1

0 votes

2 answers

79 views

阿帅 144

• asked Feb 19, 2025

2.1.5，catalog on mysql中报错找不到mysql业务表。

版本 doris-2.1.5-rc02-d5a02e095d 错误表象 这个catalog的下的其他业务表是能正常查询到数据的。 排查项 {code...} 业务也确认业务库中是存在对应的表的。

2.1 permission

0 votes

1 answers

74 views

maple 10

• asked Feb 18, 2025

是否是由于分区设置过多的原因 导致查询3s以上

2.1 query

0 votes

1 answers

77 views

椰子Echo@SelectDB 1111

• asked Feb 18, 2025

【用户案例】京东广告基于Apache Doris的冷热数据分层实践

京东广告围绕 [Apache Doris 建设广告数据存储服务，目前系统总数据容量接近 1PB，数据行数达到 18 万亿行+，日查询请求量 8,000 万次+，日最高 QPS2700+。通过对数据进行冷热分层，存储成本降低了约 87%，查询延迟显著减少。此外，冷热数据分层方案简化了存储和查询的维护工作，降低了整体复杂性和成本。 冷热分层具体方案，欢迎阅读原文了解📖：京东广告基于Apache Doris的冷热数据分层实践]

resource-admin content

1 votes

1 answers

200 views