如题,我们想要写入我们的应用埋点日志数据,其中有一部分字段是公共的(例如data_center,ip等),有一部分则完全是用户自定义的(每个应用的字段都不同)。一开始想了两种方案:
1.多表Routine load:一开始设想的是使用routine load一流多表,但一流多表由于表数量多,数据量大,cpu使用率很高,且写入效率低。
2.Variant字段:然后想采用varient的字段来存每个应用独特的字段,把所有应用的日志写入一张表中。但是variant字段总数有限制,1000+个应用的所有字段加起来有上万个。由于需要对这些用户自定义字段进行统计分析与查询,没办法采用效率低的json存储。
所以想询问一下,针对这种多表写入,有什么好的办法,能保证写入效率吗,同时对查询又不造成太大影响