wakemorpheus 3

• asked Nov 19, 2024

Doris创建华为obs资源时报错

Doris2.1.6使用s3创建华为OBS资源时报错，如图。发现其连接obs时，走的是http协议，默认不应该是https么？请问如何解决？

2.1 storage

0 votes

1 answers

33 views

anfa 1

• asked Nov 18, 2024

存算分离架构中，聚合查询获取远端S3数据时非常缓慢

如上，我的查询语句是 select level,avg(cost) from logstore_test_pro group by level; 这个查询大概命中表里面的全部数据18亿行，耗时需要3分钟+ Profile中可以看到，从远端S3获取50多M数据总共花费28分钟，而从本地Cache获取34M数据花费600多毫秒，这个差距离预期水平较远（理论上这个S3是走内网，至少可以提供50Gbps的带宽，不知Doris请求时为何如此缓慢） 另外，我发现从S3大约产生了5.7万次...

decoupled 3.0 performance

0 votes

1 answers

87 views

danvid 5

• asked Nov 18, 2024

Java自定义函数偶发性异常

背景（版本2.0.13）1台fe 3台be: 构造了自定义函数进行h3code的解析，发现会出现以下报错 {code...}

2.0

0 votes

1 answers

62 views

jency401 15

• asked Nov 18, 2024

在跑sql时，总会在/tmp下生成一堆 java.so的文件，这个有参数控制不让doris自动生成吗？

因为服务器根目录较小，在跑sql时候，总会在/tmp下生成很多 java*.so文件，/tmp下本身都是缓存文件，虽然没用，但是频繁处理确实比较麻烦。 这个有没有参数控制？ 是不是只能写定时脚本扫文件删除呢？

2.1

0 votes

1 answers

34 views

Doris真的快 7

• asked Nov 18, 2024

求助doris be占用内存高优化办法

doris版本:2.1.5 doris中有400张表，每张表大概200多个字段，实际全部数据量在百万级别，目前doris be占据18G内存，目前有4个be节点，通过分析是与tablet schema相关。 tablet_schema_cache_capacity = 5000 tablet_schema_cache_recycle_interval = 600 max_garbage_sweep_interval = 600 garbage_sweep_batch_size...

2.1

0 votes

2 answers

203 views

jency401 15

• asked Nov 18, 2024

用户user需要对表a有入库权限，但是又不能让它对a有删除数据权限。官方手册中 Load_priv 是包含delete权限的，这种怎么把delete给排除掉呢？

REVOKE DELETE ON test.a FROM 'user1'; --报错提示 ERROR 1105 (HY000): errCode = 2, detailMessage = Unknown privilege type DELETE。 已经赋予过 Load_priv 权限，该表需要user1通过 stream load,或者 insert方式入数据。但是又不希望进行delete操作。 那么这个权限赋予应该怎么处理合适？

2.1 permission

0 votes

1 answers

38 views

5

• asked Nov 18, 2024

大量数据场景下，删除数据，然后更新数据（删除的这部分数据），这部分数据查询不到

2.0.4版本，我们有一个表，约61G。如果删除一部分数据后，再将这部分数据insert到表后，无法查询到写入的这部分数据。 大约在半小时后，再次写入后，就可以看到了（半小时内，多次插入也无法看到数据） 我们新建了表，但没有复现出来（可能也和数据量有关）

2.0

0 votes

2 answers

51 views

Fuzzyy 7

• asked Nov 18, 2024

升级2.1.7版本后create table as select internal表1 left join internal表2报Column in field list is ambiguous问题，建表失败，查询正常

Doris版本信息：2.1.7 doris-2.1.7-rc03-443e87e203 复现语句： create table tmp_gzrh_202410_1_wzl as select a1.prod_inst_id ,a1.group_prod_inst_id ,a1.lan_id ,a2.lan_name ,a2.offer_grade ,case when a1.order_finish_date like '1970%' then concat(2...

2.1

0 votes

1 answers

34 views

SLJcore 1

• asked Nov 18, 2024

写doris超时

代码：if name == "main": # 创建 Spark 会话 spark = (SparkSession.builder.appName("test") .enableHiveSupport().getOrCreate()) DT = sys.argv[1] exec_sql_num = ''' select count(*) from hungry_studio.dwd_block_blast_ios_whi...

decoupled 3.0 ingestion

0 votes

3 answers

106 views

songhaifei 5

• asked Nov 18, 2024

关于备份和恢复集群BE节点数不同，doris会如何处理的问题

doris支持使用低版本备份恢复到高版本，如使用1.2.x的备份，恢复到2.1.x，并且支持备份doris集群BE个数与恢复集群的BE个数不同，如备份集群有6个BE节点，恢复集群有10个BE节点，在官方文档中，恢复阶段，由各BE并行下载远端仓库的快照文件，如果备份和恢复集群的BE节点数不同，doris内部是如何处理快照文件的？

cluster 1.2 backup

0 votes

1 answers

66 views