SLJcore 1

• asked Nov 18, 2024

写doris超时

代码：if name == "main": # 创建 Spark 会话 spark = (SparkSession.builder.appName("test") .enableHiveSupport().getOrCreate()) DT = sys.argv[1] exec_sql_num = ''' select count(*) from hungry_studio.dwd_block_blast_ios_whi...

decoupled 3.0 ingestion

0 votes

3 answers

170 views

songhaifei 5

• asked Nov 18, 2024

关于备份和恢复集群BE节点数不同，doris会如何处理的问题

doris支持使用低版本备份恢复到高版本，如使用1.2.x的备份，恢复到2.1.x，并且支持备份doris集群BE个数与恢复集群的BE个数不同，如备份集群有6个BE节点，恢复集群有10个BE节点，在官方文档中，恢复阶段，由各BE并行下载远端仓库的快照文件，如果备份和恢复集群的BE节点数不同，doris内部是如何处理快照文件的？

cluster 1.2 backup

0 votes

1 answers

180 views

jimmywong 1

• asked Nov 18, 2024

doris2.1.7的fe的cpu持续超过60%

很奇怪现象，2.1.7的fe在没有实时连接的情况下，cpu的占用率也超过60%，如下图所示 top -H -p fe进程 fe的配置如下 元数据保存位置 meta_dir = /data/doris-meta #多网卡配置网段 priority_networks = 172.16.0.0/24 #调整 FE 内存，默认8g，因为目前总内存16G，暂不调整 #修改 Doris 大小写敏感参数 lower_case_table_names = 1 enable_outfile_t...

2.1

0 votes

4 answers

309 views

zhangzeqin 26

• asked Nov 18, 2024

分区字段带子查询后未能正确指定分区而走了全表扫描

建表语句 {code...} 预期是从最新的一个分区中查询数据，但实际scan的是全表三个分区partitions=3/3 (p20240729,p20241020,p20241117) (请忽略图中的分区名称)

2.1 query

0 votes

1 answers

95 views

changguowei 199

• asked Nov 18, 2024

Doris2.1.7版本FE内存使用率持续上升，还有内存泄露吗？

Doris版本：2.1.7 问题：FE内存使用率处于一个上升趋势，目前最大堆内存设置-Xmx3072m，不知道该版本是不是还存在内存泄露问题 jcmd 29506 VM.native_memory {code...}

2.1

0 votes

2 answers

257 views

alexcheung 3

• asked Nov 17, 2024

doris2.1.6 be出现Bad page: checksum mismatch

版本2.1.6 1FE 3BE streamload大量数据 单表2副本 其中一个be总是报错Bad page: checksum mismatch导致streamload失败，等待一段时间问题依旧，且TABLETS版本数量没有变动 {code...}

2.1

0 votes

2 answers

286 views

zhao_shi 11

• asked Nov 16, 2024

Doris全文检索倒排索引会实现相关度打分功能吗？

看过从ES迁移至Doris的文章，好像目前是不支持相关度算分算法的，结果是无序状态，是不是专注于MPP而选择永久的放弃这个部分？ 不知道业界是怎么实现类似BM25的功能的，排序键手动排序？或者说可以开发插件？还是在业务中自行排序？

query

1 votes

1 answers

122 views

tebby 3

• asked Nov 15, 2024

咨询Beats Doris Output Plugin 插件支持动态获得表名字段吗？

output.doris: fenodes: [ "http://fehost1:http_port", "http://fehost2:http_port", "http://fehost3:http_port" ] user: "your_username" password: "your_password" database: "your_db" table: "%{...

ingestion

0 votes

1 answers

71 views

binyi 1

• asked Nov 15, 2024

创建分区异步物化视图失败

创建分区异步物化视图，使用官网的例子 为什么会提示 Unable to find a suitable base table for partitioning 把group by 中的 date_trunc函数去掉 直接用l_ordertime 字段做分区又可以成功创建了，但是文档说是支持使用date_trunc函数去做分区的 官网例子建表语句： {code...}

mtmv 2.1

0 votes

1 answers

147 views

____ 27

• asked Nov 15, 2024

doris查询date类型数据返回错误数据

在2.1.3版本建表： {code...} 随意插入两条数据，查询结果在不符合常规，如下图

2.1

0 votes

1 answers

77 views