目前基于doris的数仓建设,大部分都是通过构建物化视图实现分层,随着业务的发展,数仓迭代,物化视图越来越多,不合理的刷新时间调度,导致任务分散不均,目前100多个任务,尚可靠人工手动整理编排,能够让任务之间相对错开,建立软依赖,后续任务越来越多,物化嵌套物化,会导致耗费大量时间,优化物化任务的编排工作,真希望官方出个工具,可以管理物化视图,并能对物化视图之间进行依赖管理,形成工作流之类的。
目前基于doris的数仓建设,大部分都是通过构建物化视图实现分层,随着业务的发展,数仓迭代,物化视图越来越多,不合理的刷新时间调度,导致任务分散不均,目前100多个任务,尚可靠人工手动整理编排,能够让任务之间相对错开,建立软依赖,后续任务越来越多,物化嵌套物化,会导致耗费大量时间,优化物化任务的编排工作,真希望官方出个工具,可以管理物化视图,并能对物化视图之间进行依赖管理,形成工作流之类的。