wuzongyun 54

• asked Sep 29, 2024

【项目源码分享】基于Doris构建电商数仓ods->dwd/dim->dws->ads完整代码分享

data-warehouse-learning 是一个以电商系统为基础，围绕电商业务指标统计需求而构建的数仓项目。其包含完整的基于Doris的数仓(ods->dwd/dim->dws->ads)建设代码，同时也包含了诸多doris学习demo。 欢迎关注Doris的同学们访问查看。 代码地址： github | [https://github.com/Mrkuhuo/data-warehouse-learning gitee | https://gitee....

content

5 votes

3 answers

542 views

nokichen 29

• asked Sep 29, 2024

查询报错Size of filter doesn't match size of column

{code...}

2.1

0 votes

2 answers

73 views

zzzz 11

• asked Sep 29, 2024

flink web ui显示的数据，和实际插入表里的数据不一致

1.使用flink doris connector，批次是10s；使用stream load csv格式实现upsert 2.目前程序运行1h，flink发送的数据有76w条，实际入库74w，有2w的一个延迟 3.程序日志没有看到报错的情况 请问下大佬们，这种情况应该怎么去定位，少的数据去哪里了？

2.1

0 votes

2 answers

44 views

____ 23

• asked Sep 28, 2024

关于华为存算分离集群的catalog创建文件

CREATE CATALOG hive_krb_csfl PROPERTIES ( "type" = "hms", "hive.metastore.uris" = "thrift://25.36.193.116:21088,thrift://25.36.193.179:21088", -- hive-site.xml hive.metastore.uris属性 "hive.metastore.sasl.e...

2.1

0 votes

1 answers

52 views

rancho 3

• asked Sep 28, 2024

2.1.5 或者 2.1.6 版本FE 是否支持jdk 12 及以上版本？

目前是使用的jdk8, 在下午到夜间， doris集群基本空闲，但是发现会jvm存在大量committed 内存 但是 未使用。 所以想让这部分内存归还给操作系统。 网上搜索了一下 发现jdk12 有这个逻辑 参考 [https://openjdk.org/jeps/346] 所以想问下是否可以使用 jdk12 或者17 或者 21 还有个顺带的问题就是 fe 和 be 是否必须使用同一版本的jdk， 还是可以不同版本？也就是如果我fe节点使用了jdk 17, 是否be 也需...

2.1

0 votes

1 answers

46 views

zzzz 11

• asked Sep 28, 2024

doris2.1.2，flink stream load csv 部分列更新写入，报错reason: [CANCELLED]，column `plate_no` should have default value or be nullable

需求：主键模型，实现对plate_no等列的部分列更新 1.表结构: plate_no列是not null类型 {code...} 3.报错内容： INFO (leaderCheckpointer|102) [DatabaseTransactionMgr.replayUpsertTransactionState():2156] replay a ABORTED transaction TransactionState. transaction id: 2838905, lab...

2.1

0 votes

1 answers

50 views

Fennng 25

• asked Sep 27, 2024

如何在不执行数据读取IO的情况下，获取SQL执行结果的schema信息

如题，有什么办法可以在不做数据读取IO的情况下，获得一个SQL执行后数据的schema信息，包括列名、以及列的数据类型。

2.1

0 votes

1 answers

15 views

liugong 1

• asked Sep 27, 2024

CREATE CATALOG 导致be 挂掉，是什么原因？

CREATE CATALOG mall_product_dev PROPERTIES ( "type"="jdbc", "user"="root", "password"="123456", "jdbc_url" = "jdbc:mysql://192.168.1.7:3306/product?useUnicode=true&characterEnc...

2.1

0 votes

2 answers

40 views

lm.jiao 13

• asked Sep 27, 2024

【已解决】docker build未报错,为何FE启动时会显示镜像 image does not exist,会是什么原因 ?

2024-09-27 08:22:04,411 INFO (main|1) [Env.getClusterIdAndRole():1153] finished to get cluster id: 42552114, isElectable: true, role: FOLLOWER and node name: fe_f98efff0_2960_45a2_b7fa_ef6277f93c44 2024-09-27 08:22:04,422 INFO (main|1) [Env...

install 2.0

0 votes

2 answers

80 views

____ 3

• asked Sep 27, 2024

创建包含有hive catalog 物化视图数据刷新问题(ver 2.1.2)

我在物化视图里使用了hive的catalog，刷新策略为定时5分钟一次，但是每次hive有新分区数据时，对应数据没有刷新到物化视图中，我手动刷新一次catalog或者将catalog刷新元数据的时间调的很短比如一分钟，数据就刷新了。 请问这种情况是正常情况吗？ 如果是正常，如何保证每次物化视图刷新，对应hive新分区的数据可以即使刷新到物化视图中？ 另关于hive catalog 元数据刷新有一个小疑问 创建catalog的时候 "background_refresh...

2.1

0 votes

1 answers

49 views