Brocol 22

• asked Aug 27, 2024

关于宽表的设计

doris版本为v2.0.3 目前想要通过flink来对mysql的数据进行宽表写入doris 背景是宽表的key肯定是包含时间类型的字段，并且这个字段值是会更动的，并且同步效率要在5s以内，业务侧才能接受 想了两个方案 1.agg模型，这种方式试了下，行不通，fink connector文档写了agg不行是不支持enabale-delete，也就是当某个key出现变更的时候，就会有重复数据 2.unique模型，这种方案使用有且只能使用部分列更新的功能，但是部分列更新只能支...

2.0

0 votes

2 answers

132 views

9AutumnRain 8

• asked Aug 27, 2024

表字段名中有特殊字符"@"时,where条件通过该字段delete数据后表打不开

Doris版本1.2.7 表结构: {code...}

1.2

0 votes

1 answers

57 views

wanggx 3

• asked Aug 27, 2024

alter 表之后，streamload写入的事务状态一直都是commited，导致事务堵塞，引起select 查询失败，提示-230（missed_version)

这个是audit.log里面的alter操作。ALTER TABLE ods_lcyl_ydhl_pat_cureinfo MODIFY COLUMN Status INT (10) COMMENT '病人状态。0：在院,1：出院' ,MODIFY COLUMN InDate BIGINT (20) COMMENT '入院日期' ,MODIFY COLUMN OutDate BIGINT (20) COMMENT '出>院日期&#...

2.0

0 votes

1 answers

50 views

pawnZzz 7

• asked Aug 27, 2024

Flink CDC导入数据BE节点CPU、内存占用很高

版本： Doris V3.0.0 Flink 1.17.2 Flink-doris-connector: 1.6.2 资源：Doris BE节点16C32G 每秒写入：5k左右 流程：Mysql -> Flink CDC -> Kafka -> Flink -> Doris，使用Flink-doris-connector datastream api同步kafka的多topic数据debezium-json到doris 问题：BE节点CPU占用90%以...

3.0

0 votes

1 answers

81 views

frey 13

• asked Aug 27, 2024

UNIQUE KEY模型数据丢失

版本；2.0.3 数据通过flink-cdc从MYSQL同步的关系表。 表结构如下： CREATE TABLE ac_cu_permission_account ( PERMISSION_ID bigint(20) NULL, ACCOUNT_ID bigint(20) NULL ) ENGINE=OLAP UNIQUE KEY(PERMISSION_ID, ACCOUNT_ID) COMMENT 'OLAP' DISTRIBUTED BY HASH(PERM...

2.0

1 votes

2 answers

91 views

Yangboxiao 47

• asked Aug 27, 2024

【问题】当使用 streamload 导入数据时报错 Encountered unqualified data,不展示 ERROR URL

版本：2.1.4 描述：当使用 stream load 导入时报错，Encountered unqualified data 不出现错误日志地址。 {code...} 目前问题已解决：触发原因，分区类型不匹配，目标类型 yyyymmdd（int），实际写入 YYYY-MM—DD(String)

2.1

0 votes

1 answers

605 views

哈哈先生 5

• asked Aug 27, 2024

DORIS 2.0.1版本在写入数据的时候，查询会很慢？有什么优化方案

DORIS 2.0.1版本在写入数据的时候，查询会很慢？有什么优化方案？ 目前我做了如下处理 1、分表操作，之前结果写入的是一张表t1 现在拆分成多个表(t1,t2,...tn),运用端做路由到不同的表 2、聚合模型表 之前是INSERT INTO 计划修改成INSERT OVERWRITE PARTITION

2.0

0 votes

1 answers

93 views

shojinto 3

• asked Aug 27, 2024

select 中支持子查询的功能什么时候可以提供支持

MySQL和Oracle中都提供了selec a.col1,(select t.col1 from t where t.col2=a.col2) from a 或者 select a.col1,sum(if(a.xxid in select id from c),1,0) as 'newCol' from a 我看github上也有类似issue但是不知道此功能的支持什么能够支持上来。 MySQL中可以简化操作： 到了doris中只能用case...when语...

2.1

0 votes

1 answers

170 views

tlzmkm 17

• asked Aug 27, 2024

Doris 1.2.7 写入的时候出现 txn_manager.cpp:154] too many transactions: 112, limit: 100

还有其他的机器时不时的出现 W0827 09:39:33.323386 4973 runtime_filter_mgr.cpp:271] runtimefilter rpc err:[E1008]Reached timeout=500ms @192.168.0.91:8060 W0827 09:39:33.323410 4973 runtime_filter_mgr.cpp:271] runtimefilter rpc err:[E1008]Reached timeout=5...

1.2

0 votes

1 answers

59 views

____ 9

• asked Aug 26, 2024

请问doris-manager从Manager v23.11.4升级到Manager v23.11.9时，发生异常 该如何解决

2.1

0 votes

1 answers

23 views