zzzz 11

• asked Sep 29, 2024

flink web ui显示的数据，和实际插入表里的数据不一致

1.使用flink doris connector，批次是10s；使用stream load csv格式实现upsert 2.目前程序运行1h，flink发送的数据有76w条，实际入库74w，有2w的一个延迟 3.程序日志没有看到报错的情况 请问下大佬们，这种情况应该怎么去定位，少的数据去哪里了？

2.1

0 votes

2 answers

59 views

____ 23

• asked Sep 28, 2024

关于华为存算分离集群的catalog创建文件

CREATE CATALOG hive_krb_csfl PROPERTIES ( "type" = "hms", "hive.metastore.uris" = "thrift://25.36.193.116:21088,thrift://25.36.193.179:21088", -- hive-site.xml hive.metastore.uris属性 "hive.metastore.sasl.e...

2.1

0 votes

1 answers

67 views

rancho 3

• asked Sep 28, 2024

2.1.5 或者 2.1.6 版本FE 是否支持jdk 12 及以上版本？

目前是使用的jdk8, 在下午到夜间， doris集群基本空闲，但是发现会jvm存在大量committed 内存 但是 未使用。 所以想让这部分内存归还给操作系统。 网上搜索了一下 发现jdk12 有这个逻辑 参考 [https://openjdk.org/jeps/346] 所以想问下是否可以使用 jdk12 或者17 或者 21 还有个顺带的问题就是 fe 和 be 是否必须使用同一版本的jdk， 还是可以不同版本？也就是如果我fe节点使用了jdk 17, 是否be 也需...

2.1

0 votes

1 answers

82 views

zzzz 11

• asked Sep 28, 2024

doris2.1.2，flink stream load csv 部分列更新写入，报错reason: [CANCELLED]，column `plate_no` should have default value or be nullable

需求：主键模型，实现对plate_no等列的部分列更新 1.表结构: plate_no列是not null类型 {code...} 3.报错内容： INFO (leaderCheckpointer|102) [DatabaseTransactionMgr.replayUpsertTransactionState():2156] replay a ABORTED transaction TransactionState. transaction id: 2838905, lab...

2.1

0 votes

1 answers

60 views

Fennng 27

• asked Sep 27, 2024

如何在不执行数据读取IO的情况下，获取SQL执行结果的schema信息

如题，有什么办法可以在不做数据读取IO的情况下，获得一个SQL执行后数据的schema信息，包括列名、以及列的数据类型。

2.1

0 votes

1 answers

40 views

liugong 1

• asked Sep 27, 2024

CREATE CATALOG 导致be 挂掉，是什么原因？

CREATE CATALOG mall_product_dev PROPERTIES ( "type"="jdbc", "user"="root", "password"="123456", "jdbc_url" = "jdbc:mysql://192.168.1.7:3306/product?useUnicode=true&characterEnc...

2.1

0 votes

2 answers

49 views

lm.jiao 13

• asked Sep 27, 2024

【已解决】docker build未报错,为何FE启动时会显示镜像 image does not exist,会是什么原因 ?

2024-09-27 08:22:04,411 INFO (main|1) [Env.getClusterIdAndRole():1153] finished to get cluster id: 42552114, isElectable: true, role: FOLLOWER and node name: fe_f98efff0_2960_45a2_b7fa_ef6277f93c44 2024-09-27 08:22:04,422 INFO (main|1) [Env...

install 2.0

0 votes

2 answers

124 views

____ 3

• asked Sep 27, 2024

创建包含有hive catalog 物化视图数据刷新问题(ver 2.1.2)

我在物化视图里使用了hive的catalog，刷新策略为定时5分钟一次，但是每次hive有新分区数据时，对应数据没有刷新到物化视图中，我手动刷新一次catalog或者将catalog刷新元数据的时间调的很短比如一分钟，数据就刷新了。 请问这种情况是正常情况吗？ 如果是正常，如何保证每次物化视图刷新，对应hive新分区的数据可以即使刷新到物化视图中？ 另关于hive catalog 元数据刷新有一个小疑问 创建catalog的时候 "background_refresh...

2.1

0 votes

1 answers

79 views

meng 17

• asked Sep 27, 2024

doris2.1.5 升级到 3.0.1 可以直接升级吗

doris2.1.5 升级到 3.0.1 可以直接升级吗 之前升级过一次 按照官网的教程 从 2.0.5 升级到 2.1.5 关键的操作 就是 替换bin和 lib 这次 2->3 大版本的升级流程 还有什么变化 吗

3.0

0 votes

1 answers

210 views

阿帅 144

• asked Sep 27, 2024

关于Doris的prometheus监控指标的问题

目前公司要做doris的架构标准化工作，确认监控指标是标准化的一部分。 我也阅读了官方文档。 [https://doris.apache.org/zh-CN/docs/admin-manual/maint-monitor/monitor-metrics/metrics] 了解了其中比较关键的指标。 但有问题。 我一些关注的指标并没有在这里面找到 1： 比如FE BE的宕机指标标识（重要）。 2： 异常物化视图或调度任务的成功与失败。 3： 长查询任务的失败等等。 请帮忙确认我...

2.1

0 votes

1 answers

140 views