如果我有1000个应用要存日志,每个应用一个表,每个表每天一个分区,每个分区假如有10个tablet,数据保留30天。
那么10001030=300000,一共30万个tablet,是否会导致集群在日常管理获取各项元数据、每天0点生成新分区,或者其他管理操作时卡住。
目前用ES存储日志,shard数量达到几万,有些操作批量做时就已经比较卡了。
Doris这方面有没有建议的值呢,单集群不超过多少个表或者是分片。
如果我有1000个应用要存日志,每个应用一个表,每个表每天一个分区,每个分区假如有10个tablet,数据保留30天。
那么10001030=300000,一共30万个tablet,是否会导致集群在日常管理获取各项元数据、每天0点生成新分区,或者其他管理操作时卡住。
目前用ES存储日志,shard数量达到几万,有些操作批量做时就已经比较卡了。
Doris这方面有没有建议的值呢,单集群不超过多少个表或者是分片。
30w tablet 其实还行。元数据大了之后对内存资源要求比较高,需要给多一些的内存资源,常驻内存也会多一些。
单个集群其实没有具体的上限,这里还是取决于资源大小。
tablet(bucket) 的数量需要遵循大小原则和数量原则。一个tablet 建议在1~10GB之间。tablet也不宜过多,如果单个分区数据量太大的话,可以考虑调整分区粒度。
具体您可以加我主页微信一起聊聊