一纸繁荒 13

• asked Aug 6, 2024

通过StreamLoad把数据迁移到Doris表中（主键模型、日期分区），按月分区，作为原始数据层。这个表每月增量5亿，现需要对原始层清洗成明细层，中间环节较繁琐，考虑分批抽取到内存中转换完再灌到Doris的表中。

问题：现发现要抽取Doris这个大表，查不动。 1）分页的话涉及排序，切深度分页问题 2）使用Statement的流式游标设置fetchSize=1000，好像没效果。 从过写demo尝试，sql指定日期，报错日志，看着是全量读取。 2024-08-06 10:56:12,129 WARN (mysql-nio-pool-6866|302902) [ConnectProcessor.handleQueryException():469] Process one query f...

2.0

0 votes

1 answers

86 views

炳裔 45

• asked Aug 6, 2024

如何恢复dynamic_partition.start的值为默认值

建表的时候设置了dynamic_partition.start为一个固定值，但是doris会自动删除这个值之前分区的数据，现在想恢复这个值为默认，请问怎么设置？动态创建分区的逻辑策略都保留。

2.0

0 votes

2 answers

27 views

karocapo 11

• asked Aug 6, 2024

请问一下doris卸载的正确方式？

Doris使用环境: 测试 Doris版本: 2.0.8 操作系统: centos 7.9 问题描述: 因为想尝试用docker启动doris，于是把之前安装doris的环境克隆了一份出来，关闭doris服务后，卸载原本二进制安装的doris的时候出现了图里的报错，随后机器里的大部分命令都无法使用，不是报找不到命令就是报Input/Output error，因为不太清楚该怎么解决现在只能删除了出问题的虚拟机重新克隆了一个，想问一下卸载doris的详细步骤是怎么做的，为什么我会...

2.0

0 votes

1 answers

150 views

yky_young 67

• asked Aug 6, 2024

【已解决】routine-kafka 数据写入数据丢失

2.0.13版本(1.2.7版本不存在此问题) 1.routine消费多partition ,会出现部分offset 数据不消费 2.使用数组方式写入，有异常数据比如null，整个数组内容都会写入失败

2.0

0 votes

4 answers

105 views

gumiho 1

• asked Aug 6, 2024

Doris2.1.5版本执行SQL时报：The last packet successfully received from the server was 10,009 milliseconds ago

insert into enterprise_atlas.ft_unit_inventor_sort(unit_id,inventor_name,main_ipc_four_code,sort,ipc_patent_num,ipc_inventor_num,is_deleted,process_update_time) select unit_id,k.inventor_name,k.main_ipc_four_code,sort, row_number() over (pa...

2.1

0 votes

1 answers

76 views

yky_young 67

• asked Aug 6, 2024

【已解决】1.2.7升级2.0.13内存消耗普遍增加10%

1.2.7升级2.0.13内存消耗普遍增加10%，有没有参数可以优化？似乎感觉是没有内存释放

2.0

0 votes

2 answers

123 views

yky_young 67

• asked Aug 6, 2024

【已解决】publish_version过多引起数据计算错误

1.2.7版本-》2.0.13 publish_version 过多，导致下游任务获取不到数据，引起指标计算错误（1.2.7版本无此问题）

2.0

0 votes

2 answers

57 views

zhou 1

• asked Aug 6, 2024

IPV4格式的字段，在进行多条件查询时，靠后的查询条件丢失。

src_ip为IPV4格式的字段，在执行下面数据时 {code...} 相同的测试用例，在varchar类型的字段下就不存在。

2.1

0 votes

1 answers

24 views

wanxiaohun 41

• asked Aug 5, 2024

routine load Statistic 字段里面的abortedTaskNum能够查看原因么

doris版本 2.1.3 routine load 的统计信息中有一个 abortedTaskNum，怎么才能知道 这个abroted的原因呢？ Statistic: {"receivedBytes":146295162381648,"runningTxns":[33301260,33301263,33301253,33301255],"errorRows":0,"committedTaskNum":34844...

2.1

0 votes

1 answers

29 views

阿渊@SelectDB 8150

• asked Aug 5, 2024

【最佳实践】Doris 中实现行列转换

行列转换在做报表分析时还是经常会遇到的，今天就说一下如何实现行列转换吧。 行列转换就是如下图所示两种展示形式的互相转换行转列我们来看一个简单的例子，我们要把下面第一个表格的数据转换成下边第二个表格的样式 先看看建表语句： {code...} 这样看起来SQL 逻辑就清晰很多，而且在性能上也会比之前 case when 方式好的很多，下面来看看这个执行结果： mysql> select -> userid, -> IFNULL(map['语文'...

content faq

2 votes

1 answers

652 views