【技术干货】顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%

Viewed 58

顺丰科技引入 Doris 替换 Presto,在内部可视化数据自助分析工具丰景台场景广泛应用。目前,顺丰临时查询业务、丰景台报表业务的 Presto 场景已经 100% 切换到 Doris 集群中,日均查询量 100W+。并实现 P95 性能提升近 3 倍,硬件资源节省达 48% 显著收益。

完整原文:顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%

banner.jpeg

1 Answers

原文节选

顺丰科技自 2024 年中开始,逐步使用 Apache Doris 替换 Presto 所支持场景,构建统一的数据分析平台。Doris 具备查询和存储的能力,既可以作为查询引擎查询数据湖 Hive 中数据,也作为数据仓库存储数据。这一升级,同时满足数据仓库和数据湖的需求,实现了查询与存储引擎的统一。

在平台升级过程中,顺丰重点关注以下两点:

  • 无感升级: 由于是线上业务的升级,需保证整个过程业务侧无明显感知。因此,需完善对 Presto 的语法支持、SQL 行为的兼容、集群切换方案和监控报警方面的能力。
  • 性能提升和稳定性保障: 基于 Doris 以更少的计算资源获得更好的分析性能,同时保证整体服务的稳定性。