某某某某 54

• asked Aug 7, 2024

同步物化视图构建是否可以忽略历史数据

在存量数据比较多的情况下，构建同步物化视图， CREATE MATERIALIZED VIEW mv_test as SELECT **** FROM table WHERE 分区字段 > 当前时间。 这种构建方式依然会去处理历史数据，导致物化视图构建失败，能否支持跳过存量数据，构建完物化视图之后新增的数据才会刷新物化视图？

2.1

0 votes

1 answers

30 views

rainbow 1

• asked Aug 7, 2024

BE节点报fail to sub condition. condition=费用发生日期>='2020-07-01'

版本2.1.3 FE节点99、100、101 BE节点 88、89、99 报错节点 88; 前景描述：表约1000GB,分为900个tablet,[费用发生日期]为分区键,该列值有空值,在某次重启doris集群后，出现该问题，约10S一次，不间断输出日志。 /log/be.out未打印日志 /log/be.INFO日志如下 I20240807 10:15:42.880417 1920913 atorage_engine.cpp:1077) atart to delete un...

2.1

0 votes

1 answers

73 views

haoxk 11

• asked Aug 7, 2024

doris中的jsonpath支持情况

发现doris里的json函数里的json path，不支持过滤和数组范围，请问有计划支持吗

2.1

0 votes

2 answers

59 views

ademos 1

• asked Aug 7, 2024

从hdfs上恢复数据到Doris集群

-- 这是我们打的快照 BACKUP SNAPSHOT trace.tp_el_test_label TO idoris_repo ON (tp_el_test) PROPERTIES ("type" = "full"); -- 这是恢复数据的过程 RESTORE SNAPSHOT trace.tp_el_test_label FROM idoris_repo ON ( tp_el_test as tp_el_test_c) PROPERTIE...

2.0

0 votes

1 answers

27 views

阿渊@SelectDB 7480

• asked Aug 6, 2024

【 最佳实践】Doris StreamLoad

背景： Doris 的导入方式比较多，一般情况下每个场景都有对应的数据导入方式，比如Streamload、HdfsLoad（逐渐替换BrokerLoad）、RoutineLoad、MySqlLoad等。其中大家用的最多的可能是StreamLoad的方式，因为一般用doris flink connector 、doris spark connector、datax等进行数据同步时，底层都是走streamload。由于 spark doris connnector/flink d...

content ingestion faq

3 votes

2 answers

1002 views

wanxiaohun 41

• asked Aug 6, 2024

SQL 执行报错 ERROR 1105 (HY000): errCode = 2 sync filter size meet error

doris 2.1.5 表引擎为：UNIQUE KEY 表中有两个INVERTED索引 {code...} 这个是什么原因呢？需要怎么解决呢？

2.1

0 votes

1 answers

47 views

一纸繁荒 13

• asked Aug 6, 2024

通过StreamLoad把数据迁移到Doris表中（主键模型、日期分区），按月分区，作为原始数据层。这个表每月增量5亿，现需要对原始层清洗成明细层，中间环节较繁琐，考虑分批抽取到内存中转换完再灌到Doris的表中。

问题：现发现要抽取Doris这个大表，查不动。 1）分页的话涉及排序，切深度分页问题 2）使用Statement的流式游标设置fetchSize=1000，好像没效果。 从过写demo尝试，sql指定日期，报错日志，看着是全量读取。 2024-08-06 10:56:12,129 WARN (mysql-nio-pool-6866|302902) [ConnectProcessor.handleQueryException():469] Process one query f...

2.0

0 votes

1 answers

83 views

炳裔 45

• asked Aug 6, 2024

如何恢复dynamic_partition.start的值为默认值

建表的时候设置了dynamic_partition.start为一个固定值，但是doris会自动删除这个值之前分区的数据，现在想恢复这个值为默认，请问怎么设置？动态创建分区的逻辑策略都保留。

2.0

0 votes

2 answers

27 views

karocapo 11

• asked Aug 6, 2024

请问一下doris卸载的正确方式？

Doris使用环境: 测试 Doris版本: 2.0.8 操作系统: centos 7.9 问题描述: 因为想尝试用docker启动doris，于是把之前安装doris的环境克隆了一份出来，关闭doris服务后，卸载原本二进制安装的doris的时候出现了图里的报错，随后机器里的大部分命令都无法使用，不是报找不到命令就是报Input/Output error，因为不太清楚该怎么解决现在只能删除了出问题的虚拟机重新克隆了一个，想问一下卸载doris的详细步骤是怎么做的，为什么我会...

2.0

0 votes

1 answers

144 views

yky_young 67

• asked Aug 6, 2024

【已解决】routine-kafka 数据写入数据丢失

2.0.13版本(1.2.7版本不存在此问题) 1.routine消费多partition ,会出现部分offset 数据不消费 2.使用数组方式写入，有异常数据比如null，整个数组内容都会写入失败

2.0

0 votes

4 answers

103 views