椰子Echo@SelectDB 1111

• asked Sep 26, 2024

【用户案例】快手：从 Clickhouse 到 Apache Doris, 实现湖仓分离向湖仓一体架构升级

导读：快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 [Apache Doris 湖仓一体能力，替换了 Clickhouse ，升级为湖仓一体架构，并结合 Doris 的物化视图改写能力和自动物化服务，实现高性能的数据查询以及灵活的数据治理。 欢迎点击阅读全文： 快手：从 Clickhouse 到 Apache Doris, 实现湖仓分离...

content

0 votes

1 answers

168 views

椰子Echo@SelectDB 1111

• asked Sep 26, 2024

兼容Trino Connector，扩展Apache Doris数据源接入能力｜Lakehouse 使用手册（四）

[Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，从 3.0 版本开始，Apache Doris 引入了 Trino Connector 兼容框架。 Trino/Presto 作为业界较早应用于湖仓查询、联邦分析的计算引擎，以广泛的数据...

content

0 votes

1 answers

138 views

jackshi 3

• asked Sep 26, 2024

insert into部分数据 没有进去，但是显示执行成功

建表语句如下 -- dim_pro.dim_hospital definition CREATE TABLE dim_hospital ( hospital_id varchar(150) NULL COMMENT '医院ID', medical_org_id varchar(300) NULL COMMENT '医疗机构ID', source_id varchar(300) NULL COMMENT '来源系统ID', acq...

2.1

0 votes

2 answers

138 views

zhangxiaolong861 9

• asked Sep 26, 2024

Doris的3个FE，qps能达到200多，有时select 1 探测出现很多慢查询,耗时3,4秒

在业务异常的2分钟内，发下了84个超过1秒的SQL,其中66个SQL是探测SQL是SELECT 1。有很多耗时是3,4秒的。有18个是业务SQL，其中16个业务SQL从日志上看是用了FE的缓存结果。只有2个业务SQL是有到BE上执行。正常的话select 1和从fe缓存中拿数据是很快的。不可能会有3,4秒的情况。这种现象是FE达到了瓶颈吗，队列满了吗，处理不过来？。能看什么指标判断FE达到处理瓶颈，怎么优化。doris的版本是Doris version doris-2.1.4...

2.1

0 votes

2 answers

130 views

anan0120 15

• asked Sep 26, 2024

使用 Flink Doris Connector设置checkpoint，程序重启不生效

doris版本：2.1.5 Flink Doris Connector版本：1.8-24.0.0 使用 Flink Doris Connector 测试 Flink CDC 接入多表或整库功能过程中， 在程序中设置 checkpint的设置，程序每次重启都会先快照全部的表，然后再增量，checkpoint为啥没生效，辛苦大佬帮忙看看，是哪里不对吗？ {code...}

2.1

0 votes

1 answers

131 views

lm.jiao 13

• asked Sep 26, 2024

flink sql写入doris,报no available backend

异常 org.apache.doris.flink.exception.DorisRuntimeException: no available backend. at org.apache.doris.flink.sink.BackendUtil.getAvailableBackend(BackendUtil.java:96) at org.apache.doris.flink.sink.writer.DorisWriter.lambda$getStreamLoader$1(...

1.2

0 votes

1 answers

259 views

polarbearmx 6

• asked Sep 26, 2024

为什么Profile中的RowsKeyRangeFiltered远大于表的实际行数。

2.1.5 表行数：1620000，没有做过更新和删除。 通过SortKey做点查，但是，Profile中出现【- RowsKeyRangeFiltered: 17.814555M (17814555)】，17814555远大于1620000。 详细的Profile如下： Summary: - Profile ID: f83b42d9f05142f4-96ed95ee4959670c - Task Type: QUERY - Start Time: 2024-09-26 15...

2.1

0 votes

2 answers

122 views

tumg 5

• asked Sep 26, 2024

2.1.4 版本，insert into tvf时候出现 warning

1、版本：doris-2.1.4-rc03-e93678fd1e 2、表：聚合表 3、指标字段：DECIMAL(20, 5) 4、tvf来源：s3 parquet文件 现象(插入报warning)： INSERT INTO xx WITH LABEL xx (xxx,xxx) SELECT * FROM s3("uri"="s3://xx/*.parquet","s3.endpoint"="s3.us-east-1.am...

2.1

0 votes

1 answers

66 views

星火-邓进 5

• asked Sep 26, 2024

doris2.1.2升级到2.1.6后，通过catlog查询oracle变慢很多

看下图，平时执行耗时6m左右的任务，26号耗时1h12m ![] 截图了任务的某个流程的sql，获取profile（profile见后面），这个sql耗时14m，平时应该也就几十秒 ( [https://ask.selectdb.com/uploads/post/5gBHt9Tt6mu.jpg] ) 以下是sql的profile，由于超长，分几段发： Summary: - Profile ID: ba6b36e6f8ec4712-86dddd01f3934aeb - Task...

2.1

0 votes

1 answers

170 views

lm.jiao 13

• asked Sep 26, 2024

flink(1.17) + docker部署的doris(1.2.4),填的8030端口却报8040 Connection refused

source端 阿里云(hologres) sink端 doris(1.2.4)单机版 FE/BE在1台机器上 CREATE TEMPORARY TABLE dwd_cmxs_analyse_ri ( id varchar(200) , date_time TIMESTAMP , app varchar(100) , cname varchar(100) , sname varchar(100) , user_name varchar(100) , error_code va...

1.2

0 votes

1 answers

93 views