高效写bitmap列

Viewed 39

doris表有个bitmap BITMAP_UNION 字段,flink 离线计算得到大批量的int数据,需要将批量的int往bitmap写,有什么高效的方法,想法是离线计算时将int集合生成BitmapValue再转成base64,然后通过bitmap_from_base64写入到bitmap字段,如果是int达到百万级别会不会很吃内存

1 Answers

Doris 提供了写bitmap的方式,直接指定对应字段,比如;
-H "columns: dt,page,user_id, user_id=to_bitmap(user_id)"
使用to_bitmap函数专一下就行。

这个就是正常的导入,资源这里应该不会占用很多。