sqffly 15

• asked Aug 7, 2024

json行转列问题

请问目前Doris能处理出这样的目标数据吗，sql应该怎么写 {code...}

2.1

0 votes

2 answers

111 views

baozixiaoge 1

• asked Aug 7, 2024

fe配置文件中参数audit_log_roll_num配置了10 没生效应如何排查

2.1

0 votes

2 answers

109 views

某某某某 54

• asked Aug 7, 2024

同步物化视图构建是否可以忽略历史数据

在存量数据比较多的情况下，构建同步物化视图， CREATE MATERIALIZED VIEW mv_test as SELECT **** FROM table WHERE 分区字段 > 当前时间。 这种构建方式依然会去处理历史数据，导致物化视图构建失败，能否支持跳过存量数据，构建完物化视图之后新增的数据才会刷新物化视图？

2.1

0 votes

1 answers

44 views

rainbow 1

• asked Aug 7, 2024

BE节点报fail to sub condition. condition=费用发生日期>='2020-07-01'

版本2.1.3 FE节点99、100、101 BE节点 88、89、99 报错节点 88; 前景描述：表约1000GB,分为900个tablet,[费用发生日期]为分区键,该列值有空值,在某次重启doris集群后，出现该问题，约10S一次，不间断输出日志。 /log/be.out未打印日志 /log/be.INFO日志如下 I20240807 10:15:42.880417 1920913 atorage_engine.cpp:1077) atart to delete un...

2.1

0 votes

1 answers

91 views

haoxk 11

• asked Aug 7, 2024

doris中的jsonpath支持情况

发现doris里的json函数里的json path，不支持过滤和数组范围，请问有计划支持吗

2.1

0 votes

2 answers

81 views

ademos 1

• asked Aug 7, 2024

从hdfs上恢复数据到Doris集群

-- 这是我们打的快照 BACKUP SNAPSHOT trace.tp_el_test_label TO idoris_repo ON (tp_el_test) PROPERTIES ("type" = "full"); -- 这是恢复数据的过程 RESTORE SNAPSHOT trace.tp_el_test_label FROM idoris_repo ON ( tp_el_test as tp_el_test_c) PROPERTIE...

2.0

0 votes

1 answers

32 views

阿渊@SelectDB (没回帖直接加我主页微信) 9350

• asked Aug 6, 2024

【 最佳实践】Doris StreamLoad

背景： Doris 的导入方式比较多，一般情况下每个场景都有对应的数据导入方式，比如Streamload、HdfsLoad（逐渐替换BrokerLoad）、RoutineLoad、MySqlLoad等。其中大家用的最多的可能是StreamLoad的方式，因为一般用doris flink connector 、doris spark connector、datax等进行数据同步时，底层都是走streamload。由于 spark doris connnector/flink d...

content ingestion faq

3 votes

2 answers

1385 views

wanxiaohun 41

• asked Aug 6, 2024

SQL 执行报错 ERROR 1105 (HY000): errCode = 2 sync filter size meet error

doris 2.1.5 表引擎为：UNIQUE KEY 表中有两个INVERTED索引 {code...} 这个是什么原因呢？需要怎么解决呢？

2.1

0 votes

1 answers

70 views

一纸繁荒 13

• asked Aug 6, 2024

通过StreamLoad把数据迁移到Doris表中（主键模型、日期分区），按月分区，作为原始数据层。这个表每月增量5亿，现需要对原始层清洗成明细层，中间环节较繁琐，考虑分批抽取到内存中转换完再灌到Doris的表中。

问题：现发现要抽取Doris这个大表，查不动。 1）分页的话涉及排序，切深度分页问题 2）使用Statement的流式游标设置fetchSize=1000，好像没效果。 从过写demo尝试，sql指定日期，报错日志，看着是全量读取。 2024-08-06 10:56:12,129 WARN (mysql-nio-pool-6866|302902) [ConnectProcessor.handleQueryException():469] Process one query f...

2.0

0 votes

1 answers

103 views

炳裔 45

• asked Aug 6, 2024

如何恢复dynamic_partition.start的值为默认值

建表的时候设置了dynamic_partition.start为一个固定值，但是doris会自动删除这个值之前分区的数据，现在想恢复这个值为默认，请问怎么设置？动态创建分区的逻辑策略都保留。

2.0

0 votes

2 answers

38 views