阿渊@SelectDB (没回帖直接加我主页微信) 10510

• asked Aug 6, 2024

【 最佳实践】Doris StreamLoad

背景： Doris 的导入方式比较多，一般情况下每个场景都有对应的数据导入方式，比如Streamload、HdfsLoad（逐渐替换BrokerLoad）、RoutineLoad、MySqlLoad等。其中大家用的最多的可能是StreamLoad的方式，因为一般用doris flink connector 、doris spark connector、datax等进行数据同步时，底层都是走streamload。由于 spark doris connnector/flink d...

content ingestion faq

3 votes

2 answers

2350 views

wanxiaohun 41

• asked Aug 6, 2024

SQL 执行报错 ERROR 1105 (HY000): errCode = 2 sync filter size meet error

doris 2.1.5 表引擎为：UNIQUE KEY 表中有两个INVERTED索引 {code...} 这个是什么原因呢？需要怎么解决呢？

2.1

0 votes

1 answers

93 views

一纸繁荒 13

• asked Aug 6, 2024

通过StreamLoad把数据迁移到Doris表中（主键模型、日期分区），按月分区，作为原始数据层。这个表每月增量5亿，现需要对原始层清洗成明细层，中间环节较繁琐，考虑分批抽取到内存中转换完再灌到Doris的表中。

问题：现发现要抽取Doris这个大表，查不动。 1）分页的话涉及排序，切深度分页问题 2）使用Statement的流式游标设置fetchSize=1000，好像没效果。 从过写demo尝试，sql指定日期，报错日志，看着是全量读取。 2024-08-06 10:56:12,129 WARN (mysql-nio-pool-6866|302902) [ConnectProcessor.handleQueryException():469] Process one query f...

2.0

0 votes

1 answers

148 views

炳裔 45

• asked Aug 6, 2024

如何恢复dynamic_partition.start的值为默认值

建表的时候设置了dynamic_partition.start为一个固定值，但是doris会自动删除这个值之前分区的数据，现在想恢复这个值为默认，请问怎么设置？动态创建分区的逻辑策略都保留。

2.0

0 votes

2 answers

83 views

karocapo 11

• asked Aug 6, 2024

请问一下doris卸载的正确方式？

Doris使用环境: 测试 Doris版本: 2.0.8 操作系统: centos 7.9 问题描述: 因为想尝试用docker启动doris，于是把之前安装doris的环境克隆了一份出来，关闭doris服务后，卸载原本二进制安装的doris的时候出现了图里的报错，随后机器里的大部分命令都无法使用，不是报找不到命令就是报Input/Output error，因为不太清楚该怎么解决现在只能删除了出问题的虚拟机重新克隆了一个，想问一下卸载doris的详细步骤是怎么做的，为什么我会...

2.0

0 votes

1 answers

197 views

yky_young 67

• asked Aug 6, 2024

【已解决】routine-kafka 数据写入数据丢失

2.0.13版本(1.2.7版本不存在此问题) 1.routine消费多partition ,会出现部分offset 数据不消费 2.使用数组方式写入，有异常数据比如null，整个数组内容都会写入失败

2.0

0 votes

4 answers

164 views

gumiho 1

• asked Aug 6, 2024

Doris2.1.5版本执行SQL时报：The last packet successfully received from the server was 10,009 milliseconds ago

insert into enterprise_atlas.ft_unit_inventor_sort(unit_id,inventor_name,main_ipc_four_code,sort,ipc_patent_num,ipc_inventor_num,is_deleted,process_update_time) select unit_id,k.inventor_name,k.main_ipc_four_code,sort, row_number() over (pa...

2.1

0 votes

1 answers

120 views

yky_young 67

• asked Aug 6, 2024

【已解决】1.2.7升级2.0.13内存消耗普遍增加10%

1.2.7升级2.0.13内存消耗普遍增加10%，有没有参数可以优化？似乎感觉是没有内存释放

2.0

0 votes

2 answers

198 views

yky_young 67

• asked Aug 6, 2024

【已解决】publish_version过多引起数据计算错误

1.2.7版本-》2.0.13 publish_version 过多，导致下游任务获取不到数据，引起指标计算错误（1.2.7版本无此问题）

2.0

0 votes

2 answers

110 views

zhou 1

• asked Aug 6, 2024

IPV4格式的字段，在进行多条件查询时，靠后的查询条件丢失。

src_ip为IPV4格式的字段，在执行下面数据时 {code...} 相同的测试用例，在varchar类型的字段下就不存在。

2.1

0 votes

1 answers

59 views