关于按分区灵活指定压缩策略的想法。

Viewed 50

现在知道Doris BE是按照 LZ4压缩方式进行压缩的,压缩率和性能之间有一个比较好的平衡。

想法:
1: 可以多来几种压缩方式,根据分区来区分冷热数据,热数据追求性能高的压缩方式。 冷数据追求压缩率高, 但性能可以差点的压缩方式。
2: 甚至可以压缩让冷区内的数据失去查询能力,只是归档就行。 需要时可以快速恢复为可查询状态即可。这样不需要依赖外部冷备组件了(如HDFS或S3)
3: 冷数据甚至可以基于纠栅码(需要Doris有这个机制)保证数据可靠性而不使用副本机制。这样可以提高几倍的空间利用率。

上述的是想法,或许现在已经有了。 如果没有,可以考虑实现一下。

1 Answers

感谢反馈,内部记录下看看的。