方案一.dwd层使用物化视图,1个小时刷新一次数据,dws和ads层只要dwd数据有更新就刷新数据,多表关联会不会影响到透明改写效果,怕物化视图多了影响性能
方案二.不用物化视图,直接挂别的定时任务,生成实体表
方案一.dwd层使用物化视图,1个小时刷新一次数据,dws和ads层只要dwd数据有更新就刷新数据,多表关联会不会影响到透明改写效果,怕物化视图多了影响性能
方案二.不用物化视图,直接挂别的定时任务,生成实体表
其实两种策略都可以,异步物化视图小时级别刷新,其实压力不大的。
异步物化视图,job 的调度和刷新是维护在 Doris 内部的,所以如果异步物化视图非常多的话,实际上是会占用Doris的资源,但是外围的定时任务其实是外部组件维护的,比如ds或者Linux 定时脚本这些。
如果说任务不多,且Doris实际上还有比较多的空闲资源,这种情况可以用异步物化视图统一维护。
但是如果外部定时调度组件已经相当熟悉,那其实交给外部做也是可以的。
其次就是,看是否异步物化视图的其他能力,比如透明改写这些加速能力。