Apache Doris 中文技术论坛
Questions Tags Users Badges

Trino有通过引入外部插件来支持数据血缘,Doris目前有这个方面的考虑吗?

Asked Oct 12, 2024 Modified Jan 1, 0001
Viewed 72
1.2

油管视频
https://www.youtube.com/watch?v=A7hj1M7IYj8
PR
https://github.com/trinodb/trino/issues/21599
主要是用这个玩意儿
https://github.com/MarquezProject/marquez

edited Jan 1, 0001
tlzmkm17
asked Oct 12, 2024
1 Answers

目前可以参考
1、datahub:
https://datahubproject.io/docs/next/features/
2、apache atlas:
https://atlas.apache.org/api/v2/index.html
3、基于ali的druid二开,例如data-lineage-doris项目:
使用ali的druid去解析sql。由于sql本身有记录在fe的审计日志里,只需通过类似flume采集日志推送到kafka,后端设计一个服务专门去解析这些sql生成血缘关系即可:
https://github.com/eyesmoons/data-lineage-doris

后续我们将做规划和研发

edited Jan 1, 1970
徐振超@SelectDB7121
answered Oct 14, 2024
Related Questions
Doris数据恢复物化视图恢复失败,导致任务写入失败
1 answers
Doris 1.2.4 FE show frontends慢
1 answers
Doris BE不定期挂掉,目前只有be.out的栈信息,
1 answers
doris1.2.7由于查询引发大量be节点服务宕机
1 answers
使用stream load 方式导入csv文件时,按照官网设置包围符和转义符不生效,报错
1 answers
公司扫描9030端口,发现MySql漏洞,请教解决方案
1 answers

Terms of service Privacy policy

Powered by Answer - the open-source software that powers Q&A communities.
Made with love © 2025 Apache Doris 中文技术论坛.