阿帅 144

• asked Mar 21, 2024

【已记录】利用定时调度实时分钟级实时统计的想法和遇到的瓶颈

需求和背景 在大数据量在实现分钟级的实时统计。 利用异步物化视图实现分钟级的实时统计的帖子： [异步物化视图分组级实时统计的问题] 。 本帖子将提供另一种利用定时调度器实现的思路。 但遇到了性能瓶颈。 实现 先建两张表 {code...} 总结 基于调度器的实时统计。利用目标表的最大时间作为源表的增量数据锚点。 出现了性能问题。为了实时统计，调度器的时候间隔很短， 这就要求每次调度的代价不能太大。 调度器的其他要求 调度器调度任务的成功与否很重要， 因此， 需投递promet...

2.1 demand

1 votes

1 answers

321 views

____ 27

• asked Mar 21, 2024

【已解决】Doris接LDAP提示Access denied

fe ldap.conf文件如下，使用ad账号登陆，报错：ERROR 1045 (28000): Access denied for user 'default_cluster:sl7@10.201.XX.XX' (using password: YES)，fe.log里面没有任何提示，怎么排查问题？ {code...}

2.0 permission

0 votes

2 answers

236 views

抹一把泥土 7

• asked Mar 21, 2024

【已解决】通过mysql catalog同步数据到doris，报错：'UNSUPPORTED_TYPE' in '`create_time`'

--mysql数据库：create_time timestamp CREATE TABLE media_account_application ( id bigint(20) NOT NULL AUTO_INCREMENT, create_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', update_time timestamp NOT NULL DEFAULT CURRENT...

catalog 2.0

0 votes

2 answers

196 views

KissSmile 3

• asked Mar 21, 2024

Doris 2.0.0 routine load状态显示runing，实际未执行成功

环境是： 单实例物理部署 fe日志 be日志

2.0

0 votes

4 answers

80 views

agile 21

• asked Mar 21, 2024

【已解决】请问flinkCDC的mysql到Doris的整库实时同步方案用哪种方案比较合适？

FlinkCDC接入多表或整库，此方案支持实时同步么，我们发现好像更新mysql库表数据，doris并没有同步更新，如果不支持的话有其他更好的整库实时同步方案么，还请大佬们帮我指出可行性方向，非常感谢！！

2.0

1 votes

2 answers

386 views

Jasonf 21

• asked Mar 20, 2024

【已解决】数据导入时出现乱码，应该怎么处理

修改字段类型么？

ingestion 2.0

0 votes

5 answers

189 views

Brocol 22

• asked Mar 20, 2024

json_contains语法异常问题

版本：2.0.5 场景：本来是打算通过跨 mysql catalog 关联查询数据，但是发现 mysql 的 catalog 建了以后，过几天就会出现查询异常，表现就是一直查看不出来一直卡着，最后客户端超时断开链接，详见： [查询Mysql Catalog异常] 然后把我 mysql 的表同步到 doris，发现更奇怪的事情，一样的语句在跨 catalog 的时候可以正常，表迁过来就不行了 建表语句 {code...} 补充：mysql 的类型也是 json

2.0

0 votes

3 answers

91 views

阿帅 144

• asked Mar 20, 2024

【已记录】异步物化视图分钟级实时性的需求问题

期望 {code...} 经过验证, 物化视图逻辑确实是按ge_time原始粒度（秒）进行聚合的。 没办法符合按分钟聚合的业务要求。 总结 1： 因为异步物化视图的的刷新粒度是分区，为了减少刷新代价，所以基表采用按小时分区， 而不是常规的按天。 2： 业务粒度相对于分区粒度是下钻， 相对于原始粒度是上卷。 显然目前的物化视图规则不能满足要求。（或者是我用法不对）。 3: 物化视图语法中的partition by, 不像表分区粒度那样支持函数。不够灵活。 4： 将基表和物化视图...

mtmv 2.1 demand

1 votes

1 answers

384 views

baofengyu 7

• asked Mar 20, 2024

【已解决】Doris 2.1.0 开启workload group后，running_query_num 不释放，insert语句报队列爆满错误

Doris 2.1.0 开启workload group, 设置max_concurrency=5后，执行insert 语句 running_query_num 不断累加，不会释放，达到max_concurrency最大值后报错： errCode = 2, detailMessage = query waiting queue is full, queue length=0 重启fe的master节点后，running_query_num会变为0，insert语句不报错，可以...

2.1 cluster

0 votes

1 answers

170 views

NorthSea 7

• asked Mar 20, 2024

【已解决】Docker编译时cpu-maven-plugin包问题

【版本】V2.0.4-rc06 1，编译时会自动下载spring-plugin中的jar包和pom文件，但会报错格式有问题。报错如下： Downloaded from paic-yun: [http://maven.paic.com.cn/repository/maven-public/net/sourceforge/czt/dev/cup-maven-plugin/1.6-cdh/cup-maven-plugin-1.6-cdh.jar (159 kB at 224 kB/...

2.0

0 votes

1 answers

176 views