王艳忠 52

• asked Aug 9, 2024

ROUTINE LOAD 入库时间有误差

问题：这里入库的时间是按着获取第一条kafka数据的时间 修改 max_batch_interval 参数为1 后，偶尔也会出现1.2条入库时间小于kafka数据创建时间的问题 1、创建kafka测试表A {code...} 4、查看情况

2.1

0 votes

2 answers

96 views

王艳忠 52

• asked Aug 9, 2024

冷热数据 如果表是3副本，冷数据转移到hdfs上面后依旧按3副本存储还是单副本

问题：1、 如果表是3副本，冷数据转移到hdfs上面后副本存储单副本还是3副本 2、如何把数据的缓存给清理掉 这个lru 没整明白 1、创建hdfs存储位置存放冷数据 Drop RESOURCE if exists remote_hdfs; CREATE RESOURCE "remote_hdfs" PROPERTIES ( "type"="hdfs", "fs.defaultFS"="hdfs://xx...

2.1

0 votes

1 answers

88 views

lihao 3

• asked Aug 9, 2024

使用SSB性能测试，导入数据失败

控制台输出信息如下 {code...}

2.1

0 votes

2 answers

67 views

yugunsung 117

• asked Aug 9, 2024

bitmap类型字段占用空间过大

版本：2.0.12 表模型agg，第2张表有1个bitmap类型字段（其它字段和第1张表都一样），通过show data命令发现表2大小比表1多出近180G，这个是正常的吗？ {code...} 数据量

2.0

0 votes

1 answers

55 views

echo 3

• asked Aug 9, 2024

hive的catalog查询表数据为空

集群架构四台节点，版本：1.2.6，分别是1fe，3be，1observer，1observer和一台be混布，然后最近一直出现通过master的fe读取catalog的表有时候读不出来数据，读取表数据为空，但是通过Observer是可以读取出来表数据的，我看了fe和observer的fe.conf配置是一样的，都配置了增量的元数据同步，参数如下： enable_hms_events_incremental_sync = true hms_events_polling_int...

catalog 1.2

0 votes

2 answers

100 views

yugunsung 117

• asked Aug 9, 2024

master fe内存突然飙升，怎么排查？

版本：2.0.12 如下图：8月2号之前，3个fe的内存很平稳，8月2号开始master fe内存突然升高，这是正常的吗？还是存在内存泄露？

2.0

0 votes

1 answers

167 views

caishen 5

• asked Aug 9, 2024

doris2.1.4 非分区表自动分桶的规则

doris 2.1.4 版本 建表语句 CREATE TABLE test ( id BIGINT NULL COMMENT 'id', name INT NULL COMMENT '名称', ) ENGINE=OLAP UNIQUE KEY(id) COMMENT '测试表' DISTRIBUTED BY HASH(id) BUCKETS AUTO PROPERTIES ( "replication_allocatio...

2.1

0 votes

1 answers

102 views

____ 23

• asked Aug 9, 2024

新增数据湖构建，写回hudi、paimon功能

目前已经支持写会hive了，但很多场景都是用hudi、paimon构建的数据湖，经常计算后需要回写，目前都是用flink实现的，能否用doris直接进行其内部计算引擎实现，计算完直接写回paimon、hudi

demand

1 votes

1 answers

82 views

____ 5

• asked Aug 9, 2024

2.0版本doris使用spark写入，并行度参数不生效 #39130

设置的参数为： .option("doris.sink.task.use.repartition", "true") .option("doris.sink.task.partition.size", "1") 但doris的合并压力太大，还是产生了太多次streamload请求，收到报错。 detailMessage = current running txns on db 11341 is 1000, lar...

2.0

0 votes

1 answers

45 views

____ 3

• asked Aug 9, 2024

Doris 混用SSD HDD 当SSD满时是否会自动使用HDD

正在使用Doris 2.1.4，配有一块SSD，两块HDD，已经能在doris中正确识别磁盘类型。 现在遇到的问题是，新建表时如果不指定storage_medium那么之后show create table现实自动被设置了storage_medium: hdd。随后重新建表显式制定了storage_medium='ssd'后发现insert能正确插入ssd中。 然而看了doris官网文档却并没有找到明确指出，此时如果ssd写满，是否会继续使用HHD进行写入，还...

2.1

0 votes

1 answers

110 views