zzzz 11

• asked Sep 29, 2024

主键模型部分列更新的场景，怎么保证insert数据在update数据之前？

flink程序通过stream load csv格式导入到doris， 那么既要接收insert语句，也需要实现部分列的update(添加header参数columns以及partial_columns=true)，问题如下： 1.insert和update，既然header参数不一样，那么用到的DorisSink就不一样；那么就不可能用一条流写入到DorisSink； 2.那么insert数据一条流，update数据一条流，假如insert数据量大，插入时间长，而updat...

2.1

0 votes

1 answers

101 views

是尘风呢 3

• asked Sep 29, 2024

通过 Java 程序调用 stream load 导入数据，在一批次数据量较大时，可能会报错 Broken Pipe

版本：doris-3.0.1 2pc：开启 写入差不多4000万时就报错，报错内容如下： {code...}

3.0

0 votes

1 answers

149 views

ZheWang 3

• asked Sep 29, 2024

是否能提供ARMv8（2.0.13）版本的prebuild的thirdpary包

如题，自己编译总是会遇到librdkafka的链接问题。

2.0

0 votes

1 answers

17 views

badrecover 15

• asked Sep 29, 2024

jdbc catalog greenplum6,time字段下午时间无法正常用cast来转换，也无法用time_to_sec来转换,返回null

现象见下图： 问题：create_time值为上午时段的时候能正常转换成秒或doris的time;当时段为下午时，返回值就为null create_time的时间为上午早点的时候，能正常转换 doris版本:为2.1.5 源表的结构： create catalog: {code...}

2.1

0 votes

1 answers

62 views

wuzongyun 64

• asked Sep 29, 2024

【项目源码分享】基于Doris构建电商数仓ods->dwd/dim->dws->ads完整代码分享

data-warehouse-learning 是一个以电商系统为基础，围绕电商业务指标统计需求而构建的数仓项目。其包含完整的基于Doris的数仓(ods->dwd/dim->dws->ads)建设代码，同时也包含了诸多doris学习demo。 欢迎关注Doris的同学们访问查看。 代码地址： github | [https://github.com/Mrkuhuo/data-warehouse-learning gitee | https://gitee....

content

6 votes

4 answers

577 views

nokichen 29

• asked Sep 29, 2024

查询报错Size of filter doesn't match size of column

{code...}

2.1

0 votes

2 answers

78 views

zzzz 11

• asked Sep 29, 2024

flink web ui显示的数据，和实际插入表里的数据不一致

1.使用flink doris connector，批次是10s；使用stream load csv格式实现upsert 2.目前程序运行1h，flink发送的数据有76w条，实际入库74w，有2w的一个延迟 3.程序日志没有看到报错的情况 请问下大佬们，这种情况应该怎么去定位，少的数据去哪里了？

2.1

0 votes

2 answers

52 views

____ 23

• asked Sep 28, 2024

关于华为存算分离集群的catalog创建文件

CREATE CATALOG hive_krb_csfl PROPERTIES ( "type" = "hms", "hive.metastore.uris" = "thrift://25.36.193.116:21088,thrift://25.36.193.179:21088", -- hive-site.xml hive.metastore.uris属性 "hive.metastore.sasl.e...

2.1

0 votes

1 answers

57 views

rancho 3

• asked Sep 28, 2024

2.1.5 或者 2.1.6 版本FE 是否支持jdk 12 及以上版本？

目前是使用的jdk8, 在下午到夜间， doris集群基本空闲，但是发现会jvm存在大量committed 内存 但是 未使用。 所以想让这部分内存归还给操作系统。 网上搜索了一下 发现jdk12 有这个逻辑 参考 [https://openjdk.org/jeps/346] 所以想问下是否可以使用 jdk12 或者17 或者 21 还有个顺带的问题就是 fe 和 be 是否必须使用同一版本的jdk， 还是可以不同版本？也就是如果我fe节点使用了jdk 17, 是否be 也需...

2.1

0 votes

1 answers

71 views

zzzz 11

• asked Sep 28, 2024

doris2.1.2，flink stream load csv 部分列更新写入，报错reason: [CANCELLED]，column `plate_no` should have default value or be nullable

需求：主键模型，实现对plate_no等列的部分列更新 1.表结构: plate_no列是not null类型 {code...} 3.报错内容： INFO (leaderCheckpointer|102) [DatabaseTransactionMgr.replayUpsertTransactionState():2156] replay a ABORTED transaction TransactionState. transaction id: 2838905, lab...

2.1

0 votes

1 answers

55 views