Doris真的快 7

• asked Nov 18, 2024

求助doris be占用内存高优化办法

doris版本:2.1.5 doris中有400张表，每张表大概200多个字段，实际全部数据量在百万级别，目前doris be占据18G内存，目前有4个be节点，通过分析是与tablet schema相关。 tablet_schema_cache_capacity = 5000 tablet_schema_cache_recycle_interval = 600 max_garbage_sweep_interval = 600 garbage_sweep_batch_size...

2.1

0 votes

2 answers

186 views

jency401 15

• asked Nov 18, 2024

用户user需要对表a有入库权限，但是又不能让它对a有删除数据权限。官方手册中 Load_priv 是包含delete权限的，这种怎么把delete给排除掉呢？

REVOKE DELETE ON test.a FROM 'user1'; --报错提示 ERROR 1105 (HY000): errCode = 2, detailMessage = Unknown privilege type DELETE。 已经赋予过 Load_priv 权限，该表需要user1通过 stream load,或者 insert方式入数据。但是又不希望进行delete操作。 那么这个权限赋予应该怎么处理合适？

2.1 permission

0 votes

1 answers

36 views

5

• asked Nov 18, 2024

大量数据场景下，删除数据，然后更新数据（删除的这部分数据），这部分数据查询不到

2.0.4版本，我们有一个表，约61G。如果删除一部分数据后，再将这部分数据insert到表后，无法查询到写入的这部分数据。 大约在半小时后，再次写入后，就可以看到了（半小时内，多次插入也无法看到数据） 我们新建了表，但没有复现出来（可能也和数据量有关）

2.0

0 votes

2 answers

51 views

Fuzzyy 7

• asked Nov 18, 2024

升级2.1.7版本后create table as select internal表1 left join internal表2报Column in field list is ambiguous问题，建表失败，查询正常

Doris版本信息：2.1.7 doris-2.1.7-rc03-443e87e203 复现语句： create table tmp_gzrh_202410_1_wzl as select a1.prod_inst_id ,a1.group_prod_inst_id ,a1.lan_id ,a2.lan_name ,a2.offer_grade ,case when a1.order_finish_date like '1970%' then concat(2...

2.1

0 votes

1 answers

32 views

SLJcore 1

• asked Nov 18, 2024

写doris超时

代码：if name == "main": # 创建 Spark 会话 spark = (SparkSession.builder.appName("test") .enableHiveSupport().getOrCreate()) DT = sys.argv[1] exec_sql_num = ''' select count(*) from hungry_studio.dwd_block_blast_ios_whi...

decoupled 3.0 ingestion

0 votes

3 answers

89 views

songhaifei 5

• asked Nov 18, 2024

关于备份和恢复集群BE节点数不同，doris会如何处理的问题

doris支持使用低版本备份恢复到高版本，如使用1.2.x的备份，恢复到2.1.x，并且支持备份doris集群BE个数与恢复集群的BE个数不同，如备份集群有6个BE节点，恢复集群有10个BE节点，在官方文档中，恢复阶段，由各BE并行下载远端仓库的快照文件，如果备份和恢复集群的BE节点数不同，doris内部是如何处理快照文件的？

cluster 1.2 backup

0 votes

1 answers

59 views

jimmywong 1

• asked Nov 18, 2024

doris2.1.7的fe的cpu持续超过60%

很奇怪现象，2.1.7的fe在没有实时连接的情况下，cpu的占用率也超过60%，如下图所示 top -H -p fe进程 fe的配置如下 元数据保存位置 meta_dir = /data/doris-meta #多网卡配置网段 priority_networks = 172.16.0.0/24 #调整 FE 内存，默认8g，因为目前总内存16G，暂不调整 #修改 Doris 大小写敏感参数 lower_case_table_names = 1 enable_outfile_t...

2.1

0 votes

4 answers

144 views

zhangzeqin 26

• asked Nov 18, 2024

分区字段带子查询后未能正确指定分区而走了全表扫描

建表语句 {code...} 预期是从最新的一个分区中查询数据，但实际scan的是全表三个分区partitions=3/3 (p20240729,p20241020,p20241117) (请忽略图中的分区名称)

2.1 query

0 votes

1 answers

80 views

changguowei 199

• asked Nov 18, 2024

Doris2.1.7版本FE内存使用率持续上升，还有内存泄露吗？

Doris版本：2.1.7 问题：FE内存使用率处于一个上升趋势，目前最大堆内存设置-Xmx3072m，不知道该版本是不是还存在内存泄露问题 jcmd 29506 VM.native_memory {code...}

2.1

0 votes

2 answers

175 views

alexcheung 3

• asked Nov 17, 2024

doris2.1.6 be出现Bad page: checksum mismatch

版本2.1.6 1FE 3BE streamload大量数据 单表2副本 其中一个be总是报错Bad page: checksum mismatch导致streamload失败，等待一段时间问题依旧，且TABLETS版本数量没有变动 {code...}

2.1

0 votes

2 answers

127 views