阿帅 144

• asked Dec 17, 2024

关于按分区灵活指定压缩策略的想法。

现在知道Doris BE是按照 LZ4压缩方式进行压缩的，压缩率和性能之间有一个比较好的平衡。 想法： 1： 可以多来几种压缩方式，根据分区来区分冷热数据，热数据追求性能高的压缩方式。 冷数据追求压缩率高， 但性能可以差点的压缩方式。 2： 甚至可以压缩让冷区内的数据失去查询能力，只是归档就行。 需要时可以快速恢复为可查询状态即可。这样不需要依赖外部冷备组件了（如HDFS或S3） 3： 冷数据甚至可以基于纠栅码（需要Doris有这个机制）保证数据可靠性而不使用副本机制。这样可...

2.1

0 votes

1 answers

93 views

阿帅 144

• asked Dec 17, 2024

期望有一个压缩函数

背景 原始日志中的长字段业务中用不到， 但业务侧又不想删除，我就想着通过压缩的方式对这些字段单独归档。期望减少存储空间，又不丢失信息。 验证 {code...} 但在doris中没有的， 希望可以实现一下。长且无用的字段可以归档并节省不少空间。

2.1

0 votes

2 answers

76 views

luodesong 5

• asked Dec 17, 2024

【已解决】2.1.5，sum汇总和明细表下载手工汇总偏差

1、版本是2.1.5 2、明细表在doris中汇总后的值和通过s3下载到腾讯的cos上和metabase下载后手工汇总值对不上。 3、初步定位是有一个微信昵称列，可能有特字符，导致下载的时候数据被截取了，去掉这一列后能对上。

2.1

0 votes

2 answers

90 views

lxdyycg 3

• asked Dec 16, 2024

物化视图分区增量刷新

分区增量刷新，是对有变化的分区做全量数据刷新？还是只对有变化的数据刷新？

mtmv

0 votes

1 answers

140 views

fzzf 1

• asked Dec 16, 2024

2.1.3 表内有一个字段为自增列 使用 insert into select方式插入报错 2.1.4就可以

在2.1.3中建表语句为： CREATE TABLE test ( id BIGINT NOT NULL AUTO_INCREMENT(1) COMMENT 'id', test VARCHAR(50) NULL COMMENT 'test' ) ENGINE=OLAP UNIQUE KEY(id) COMMENT 'test' DISTRIBUTED BY HASH(id) BUCKETS AUTO PROPERTIES ( ...

2.1

0 votes

1 answers

51 views

郭明昊 21

• asked Dec 16, 2024

st_distance_sphere计算错误

直接输入两个经纬度查询是正确的

query

0 votes

1 answers

70 views

zlhxxx 170

• asked Dec 16, 2024

Doris2.1.6 FE待消费数波动很大 【已解决】

等待FE消费的缓存数波动很大，是否正常，如何排查

2.1

0 votes

2 answers

52 views

1

• asked Dec 16, 2024

2.1.7 视图使用GROUP_CONCAT、group by查询报错

errCode = 2, detailMessage = Unknown column 'id' in 'zzt_record.t' 库：zzt_record 建表语句 {code...} 视图中的字段只要在group by以及GROUP_CONCAT中使用就会报Unknown column 'id' in 'zzt_record.t'

2.1 query

0 votes

1 answers

79 views

mortal 13

• asked Dec 16, 2024

Doris 用hive UDF函数jar 注册成Doris 函数提示 Multi methods 'evaluate' in class 'com.xxx.xxx' and no one passed parameter matching verification

直接将已经在hive 注册成功的jar，在doris 中注册成本地函数。 1、hive UDF函数伪代码 {code...}

2.1

0 votes

1 answers

53 views

wang 1

• asked Dec 16, 2024

关于elasticsearch替换成doris的查询问题

doris测试建表语句: CREATE TABLE test ( userid varchar(32) NOT NULL COMMENT "个人账号id", time datetime NOT NULL COMMENT "发送时间", information_source STRING NOT NULL COMMENT "信源类型", INDEX useridindex(userid) USING INVERTED, INDEX...

2.1 query performance

0 votes

1 answers

126 views