椰子Echo@SelectDB 1111

• asked Jun 17, 2024

【用户案例】抖音集团基于 Apache Doris 的实时数据仓库实践

在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。 此外，实时数据处理比离线数据更复杂，需要应对多流 JOIN、维度表变化等技术难题，并确保系统的稳定性和数据的准确性。本文将分享基于 [Apache Doris 的实时数仓架构在不同业务场景的实践经验，以及该架构带来的收益。 欢迎点击原文查看详情： 抖音集团基于 Apache Doris 的实时数据仓库实践]

content

0 votes

1 answers

212 views

椰子Echo@SelectDB 1111

• asked Jun 17, 2024

【2.1 版本新特性】Apache Doris 全新分区策略 Auto Partition 应用场景与功能详解 ｜ Deep Dive 系列

在当今数据驱动的时代，如何高效、有序地管理数据库中的海量数据成为挑战。为了处理庞大的数据集，分布式数据库引入了类似分区和分桶策略，通过将数据按特定规则划分成较小的单位并分布到不同节点上，利用并行计算能力以提升处理和分析性能，并加强了数据管理的灵活性。 在 2.1 版本以前， [Apache Doris 的分区主要依赖手动分区和动态分区功能（Dynamic Partition）。这两种方式都有其不够灵活之处，因此我们在 2.1 版本引入了自动分区（Auto Partition）...

content

0 votes

1 answers

178 views

王艳忠 62

• asked Jun 17, 2024

doris1.2.7，stream load 出现 couldn't open transport

stream load 经常出现超时的问题，这种是gc造成的原因吗

ingestion 1.2

0 votes

1 answers

74 views

wills_tan 3

• asked Jun 17, 2024

doris1.2.9版本隐式转换有问题

如图，1.2.9版本现在字符串转int不会自动四舍五入 我们之前用的1.1.5版本用了比较久，不会有这个问题。能够设置什么参数让它保持这个逻辑么，现在'9.8' 这种字符串在1.2.9会被转成0 而不是期望的舍弃小数位变成9

1.2

0 votes

1 answers

54 views

JiangXiaoqiang 3

• asked Jun 16, 2024

【已解决】Doris的select count过程是怎样的？

Doris的select count过程是怎样的？是直接查询的元数据吗？还是查询segment进行汇总？如何分析

query

0 votes

1 answers

98 views

wangcool 13

• asked Jun 16, 2024

be节点生成core文件然后宕机

一、操作系统日志： Jun 16 17:35:28 127.0.0.1 abrt-hook-ccpp: Process 102869 (doris_be) of user 0 killed by SIGSEGV - dumping core Jun 16 17:35:44 127.0.0.1 abrt-hook-ccpp: Failed to write core dump to file: No space left on device 二、dori info日志： E05...

1.2

1 votes

2 answers

131 views

Sean 5

• asked Jun 16, 2024

【已解决】logstash output doris的参数错误，无法进行导数工作

在Logstash 8.13.4上，安装了logstash output doris，安装步骤参考的是官方文档，因为使用不了ruby 2.7.1，当时编译plugin代码时，用的是ruby 3.0.2p107 (2021-07-07 revision 0db68f0233) [x86_64-linux-gnu] 安装logstash plugin时，没有报错。 问题 当在配置output doris plugin时， doris { http_hosts => [&#3...

2.1 catalog docs

0 votes

1 answers

174 views

zhuhezhen 7

• asked Jun 15, 2024

【已解决】doris表中，字符型数据带双引号的问题

原始csv文件不带双引号，通过flume做数据的同步，taildir-source，Memory-channel，kafka-sink，再通过routine load把数据入库到doris，数据成功入库，问题是： 入库到doris的字符型数据是带双引号的，整型和浮点型都不带双引号，这个双引号如何去掉？

2.1 ingestion

0 votes

2 answers

184 views

zzxiaoma 33

• asked Jun 15, 2024

【已解决】创建物化视图提示MergeOnWrite table can't create materialized view

那是不是写时合并的表都不允许创建物化视图？

2.0

0 votes

1 answers

260 views

____ 7

• asked Jun 15, 2024

Doris 2.0.10 别名和系统内置函数名字一样的时候，一直使用内置函数，导致别名函数失效

比如： select union_udf.date_sub(now(3),2); 会一直使用 date_sub(now(3),3) 内置函数 select xxxx.date_sub(now(3),2); 前面xxx 随便写 都直接指向 内置函数 这样就导致别名函数失效。这样的情况怎么办？我目的是使用别名函数

2.0

0 votes

1 answers

83 views