cuiqisheng 51

• asked Oct 23, 2024

【1024】调优经验分享：浙江霖梓 Doris+Flink全线数仓+日志存储一体化

一、业务背景 1.存在问题 ①数据采集性能差 ②数据变更能力差 ③数据分析性能差 ④离线任务跑批时间长 ⑤运维成本高 ⑥集群稳定性差 ⑦各部门口径不统一 2.现有架构 二、性能优化 1.合理使用表模型 ods使用主键模型，使用Datax根据gmt_modify增量更新数据的方式替代全量覆盖，利用了主键模型的replace特性； dwd、app使用明细模型并合理选取排序键； dws使用聚合模型配合bitmap实现高效聚合，降低SQL复杂度。 2.基础--分区分桶 设置动态分区，...

catalog content cluster 2.0

5 votes

1 answers

507 views

JustinXu 3

• asked Oct 23, 2024

【求助】为什么任务会在一个不存在的backendid上执行？

执行一个简单的插入sql，doris报错：tablet 28031 alive replica num 0 < load required replica num 1, alive backends:[] 然后我通过：show tablet 28031， 再通过DetailCmd：SHOW PROC '/dbs/28004/28029/partitions/28028/28030/28031'; 发现该任务执行的BackendId=26002，但此时sh...

2.1

0 votes

1 answers

88 views

Pumbaa 9

• asked Oct 23, 2024

Doris-Manager-24.0.5，WebUI启动失败（Doris版本为2.1.6）

Doris-Manager版本为24.0.5 部署Doris集群版本为2.1.6 集群部署成功了，但是WebUI启动失败，日志如下： webui/log/studio.out日志如下： webui/conf/webui.conf默认配置如下（无修改）： {code...} 试过kill掉进程，通过bin/start.sh启动，报错同上，求问如何解决，谢谢

doris-webui manager

0 votes

1 answers

190 views

芥末0000 5

• asked Oct 23, 2024

ask.selectdb.com分页有问题，只多查了一条记录

[https://ask.selectdb.com/search?q=%E5%86%85%E5%AD%98&order=score&page=1]

faq

0 votes

1 answers

47 views

wanxiaohun 41

• asked Oct 23, 2024

聚合表的bitmap列如何创建物化视图来加速查询

版本：Server version: 5.7.99 Doris version doris-2.1.5-rc02-d5a02e095d 需求：广告业务需要对每天的几十亿访问量按照国家和操作系统算uv.pv 建表： {code...} 查询

2.1 performance

0 votes

1 answers

124 views

张彬华 7698

• asked Oct 23, 2024

【FAQ】doris导入报：Label Already Exists

doris导入报如图日志：Label Already Exists

2.1 cluster 2.0 faq

0 votes

3 answers

357 views

cong 1

• asked Oct 23, 2024

2.0.12版本，backup 失败问题

集群是1fe+3be的配置。在执行backup时，会出现如图上错误。经过官方人员分析是由于实时任务，导致数据写入太频繁，每秒1-3条数据量，其中可能某个副本的数据正在同步，去备份的时候就会遇到这个副本数据版本不一致。 现在把实时任务停止之后，可以成功备份。 如果每次做备份时，把实时任务停止，这个代价过于太高。并且经过测试做ccr进行集群间同步时，也会执行backup。我的理解是，如果每秒有几百条数据实时写入，那备份任务，完全做不了。这个属于bug么？是否有优化的空间？

2.0 demand backup

0 votes

1 answers

94 views

liwei666 1

• asked Oct 23, 2024

doris-manager 24.1.1 版本 启动 webui 失败

操作系统版本: centos 7.8 doris-manager版本: 24.1.1 x64 启动 webui 失败，webui，初始化时 dataserviceimpl 出错 manager.conf 和 webui.conf 都没有变动过，有什么办法解决？ {code...}

manager install

0 votes

4 answers

405 views

zengyongchuan 31

• asked Oct 23, 2024

doris 使用 catalog 连接 mysql 查询时，有部份表查不出来

doris 版本：2.1.5 部署：单节点 OS:linux 7 mysql版本：mysql 5.7.31 问题描述：我们在 drois 上创建了一个 catalog 连接 mysql，在mysql中新建了一张表，在 catalog 中查询时，发现找不到该表，错语信息如下： 1051 - errCode = 2, detailMessage = Unknown table 'emphasis_goods_sale_period_station_d_tmp' 还...

2.1

0 votes

2 answers

228 views

zlhxxx 176

• asked Oct 23, 2024

VARIANT 无法直接下标取数组吗，data[0] ，取出为null

如题,VARIANT 无法直接下标取数组吗，data[0] ，取出为null

2.1

0 votes

2 answers

58 views