zlhxxx 158

• asked Oct 24, 2024

如果存在大量trash，是不是会影响streamload 数据导入

集群目前有100多G的trash，这其中是有什么关联关系吗。每5秒，20次左右的提交不高啊，一直有一个表总是会出现问题。 有两个配置几乎一样的表，几乎同样的写入频率，但有一个表总是会出现这种修复问题，怎么排查 我的理解可能是这样，应该就是清理垃圾，版本增多，合并压力大，写入提交延迟，判定不健康，副本修复，继续导致写入延迟，一系列连锁反应

2.1

0 votes

1 answers

46 views

forest 35

• asked Oct 24, 2024

大量表同步时，如何精准找到是哪一个表同步报错

2.1

0 votes

1 answers

24 views

____ 17

• asked Oct 24, 2024

2.1.6偶发性streamload报错

在使用doris-flink-connector做整库数据同步的时候, 如果同一个fe进行的同步任务过多时, 写入数据频繁时, 经常会两个报错: {code...}

2.1 ingestion

0 votes

1 answers

152 views

wade 5

• asked Oct 24, 2024

在doris2.0.14使用restore snapshot将doris1.2.8版本备份的数据从hdfs仓库还原出来报错

背景：有两套doris集群，生产环境1.2.8版本，测试环境2.0.14版本。需要将生产环境大量数据同步至测试环境中，使用方案大致是从生产环境将数据backup snapshot到hdfs仓库中。在测试环境中使用restore snapshot从hdfs仓库拉下来实现离线数据同步。 生产环境备份成功截图： 测试环境restore还原失败： 完整的TaskErrMsg内容（其中10.96.70.0/24是我的测试环境地址，10.96.74.0/24是我的生产环境地址）： [54...

ingestion 2.0 1.2

0 votes

2 answers

89 views

阿帅 144

• asked Oct 24, 2024

Doris监控趋势图的问题。

公司需要做Doris的监控。 [https://doris.apache.org/zh-CN/docs/admin-manual/maint-monitor/monitor-metrics/metrics] 需要关键的运行情况的趋势图指标。 社区小伙伴可以给我几个比较关键的吗？

2.1

0 votes

2 answers

70 views

阿帅 144

• asked Oct 24, 2024

关于8040端口的问题

我记得DataX同步是需要8040端口的。好像是所有stream load的时候都会用到，但官网的这部分没提client。 你们看看要不要加入。

2.1

0 votes

1 answers

26 views

maple 10

• asked Oct 24, 2024

doris 2.1.2 查询导致be所有节点崩溃

表结构 CREATE TABLE t_data_vehicleimsi ( collect_time DATETIME NULL DEFAULT CURRENT_TIMESTAMP COMMENT '数据创建时间', plate_joint VARCHAR(64) NULL COMMENT '车牌号+车牌颜色的组合字段,用_下划线分割', imsi_or_mac VARCHAR(64) NULL COMMENT 'imsiOrMac&#...

2.1

0 votes

1 answers

61 views

nokichen 29

• asked Oct 23, 2024

外表异步物化视图刷新时所需的计算资源能否隔离

如题，目前集群有5个内表节点和10个计算节点 目前通过不同用户的resource.tag来隔离计算资源 例如：A用户只能使用内表节点资源；B用户只能使用计算节点资源 想知道 外表异步物化视图刷新时所需的计算资源能否隔离

mtmv

0 votes

1 answers

63 views

cuiqisheng 51

• asked Oct 23, 2024

【1024】调优经验分享：浙江霖梓 Doris+Flink全线数仓+日志存储一体化

一、业务背景 1.存在问题 ①数据采集性能差 ②数据变更能力差 ③数据分析性能差 ④离线任务跑批时间长 ⑤运维成本高 ⑥集群稳定性差 ⑦各部门口径不统一 2.现有架构 二、性能优化 1.合理使用表模型 ods使用主键模型，使用Datax根据gmt_modify增量更新数据的方式替代全量覆盖，利用了主键模型的replace特性； dwd、app使用明细模型并合理选取排序键； dws使用聚合模型配合bitmap实现高效聚合，降低SQL复杂度。 2.基础--分区分桶 设置动态分区，...

catalog content cluster 2.0

5 votes

1 answers

403 views

JustinXu 3

• asked Oct 23, 2024

【求助】为什么任务会在一个不存在的backendid上执行？

执行一个简单的插入sql，doris报错：tablet 28031 alive replica num 0 < load required replica num 1, alive backends:[] 然后我通过：show tablet 28031， 再通过DetailCmd：SHOW PROC '/dbs/28004/28029/partitions/28028/28030/28031'; 发现该任务执行的BackendId=26002，但此时sh...

2.1

0 votes

1 answers

25 views