caolei 45

• asked May 28, 2024

【已解决】使用logstash导入doris只能导入csv格式，其他格式不支持

使用logstash收集flink日志数据导入doris中，遇到困难，format参数不能识别，能否提供一个正常的手机日志的配置样例，日志样例为： 2024-05-08 18:38:40,169 INFO org.apache.flink.configuration.Configuration [] - Config uses fallback configuration key 'jobmanager.rpc.address' instead of key ...

ingestion 2.0 demand docs

0 votes

2 answers

221 views

cheif 1

• asked May 28, 2024

【已解决】doris执行update报错

【环境】linux-centos 【doris版本】2.0.0 【执行sql】在doris的终端执行该命令 update 表名 set 字段="" where id=1； 数据表是unique模型，执行update修改非唯一索引列时，报错： {code...} be.INFO中错误信息 be.out中错误信息

2.0

0 votes

2 answers

450 views

Brocol 22

• asked May 28, 2024

【已解决】2.0.5 到 2.1.3 跨版本升级前的兼容性测试，尝试多种方式 FE 启动不成功

背景： 1、升级前生产和测试环境的版本为2.0.5 操作流程： 1、先将生产的doris_meta文件夹压缩打包，传到测试环境上（生产有多个不同的catalog，例如：hive，es，mysql） 2、然后将2.1.3版本包传到测试环境，命名为fe_upgrade文件夹，然后将doris_meta解压放到新的部署目录下 3、然后将测试环境的配置文件拷贝到新目录的conf下，修改对应的DORIS_HOME为绝对路径 4、尝试启动，发现不成功，报错如下： 尝试处理： 1、因为是h...

2.1 catalog upgrade

0 votes

1 answers

145 views

changguowei 199

• asked May 27, 2024

【已解决】resource_tags属性为空代表default还是所有资源？

resource_tags这个值为空代表的是使用default，还是所有资源？

2.1

0 votes

1 answers

62 views

Lanny Boarts 9

• asked May 27, 2024

通过 FlinkCDC 将 postgres 整库同步到 Doris 发生报错

pg中这表分别是1400W左右的数据，使用以下命令同步不成功，查看任务的CheckPoint发生异常 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. The latest checkpoint failed due to Checkpoint expired before completing., view the Checkpoint ...

2.1 ingestion

0 votes

3 answers

308 views

Lanny Boarts 9

• asked May 27, 2024

【缺少关键信息】manager服务配置-服务页面404

Failed to load resource: the server responded with a status of 404 ()

manager

0 votes

2 answers

109 views

liaole 7

• asked May 27, 2024

【已解决】2.0.4 大表自动收集统计信息，查询语句占用内存太大导致报错，为什么会占用这么大内存？

我有个很大的表的统计信息一直报错，我设置了全局的内存查询限制，但是限制是很大，按照文档（ [https://doris.apache.org/zh-CN/docs/query/nereids/statistics] 说明，几百万数据应该不会触发限制的，不知道为啥一直因为限制触发报错; 统计信息的收集作业本身需要占用一定的系统资源，为了尽可能降低开销，Doris会使用采样的方式去收集，自动采样默认采样4194304(2^22)行，以尽可能降低对系统造成的负担并尽快完成收集作业。...

query 2.0 demand

0 votes

1 answers

240 views

MG123 13

• asked May 27, 2024

【已解决】date()函数过滤数据问题

版本：2.0.4 stime:datetime(6) 函数：date() 结果：显示的是5.20号，比对 大于等于 2024-05-19 00:00:00 才是1 ，2024-05-19 00:00:01 就变成0了 这个咋回事呢？

2.0

0 votes

2 answers

76 views

耳东 11

• asked May 27, 2024

【已解决】doris 2.0.4 自动收集统计信息oom

fe.warn.log中持续输出查询oom，为收集统计信息sql，如下 {code...} 表mytable为大表(几百亿)，time为表dupkey的首字段，类型为datetime，TABLET()内约有百个，省略显示全部。百个tablets的数量肯定达到亿级，即使是group by后，所以肯定会oom。 问题： 根据官网说明，默认所有表都是大表？huge_table_lower_bound_size_in_bytes默认值为0 大表统计不是采样huge_table_def...

2.0

0 votes

1 answers

109 views

changguowei 199

• asked May 27, 2024

【已解决】新增resource group资源组后，对上云数据是否有影响

对于一些已经上云(对象存储)的分区数据，新增ad_group组(resource group)并对表历史分区增加副本，云上数据会有变化吗？会怎样变化？ {code...}

2.1

0 votes

1 answers

95 views