3.0.3,查询paimon catalog,数据不更新

Viewed 100

doris版本: 3.0.3 存算分离,部署方式:K8S Doris Operator
paimon版本:0.9,存储:亚马逊S3
问题描述:
paimon的数据更新后,通过flinksql查询,可以查询到新数据,但是doris查询的是旧数据,而且过了20分钟查,还是旧数据。。
这个问题不是必现的,不清楚是什么原因,有时候很正常。
截图如下

image.png

存算分离模式下 be.conf 的 enable_file_cache 默认开启
是不是因为这个导致的?
我个人觉得这个缓存的设置,能不能根据catalog配置,比如doris的internal可以用缓存,外部的catalog 可以不用缓存。

2 Answers

刷新一下catalog、表再查询试试呢

REFRESH CATALOG hive;

REFRESH TABLE ctl.db.table1;

看来这是一个古老的bug,4.0.4 依旧有。。
CREATE CATALOG IF NOT EXISTS paimon_catalog PROPERTIES (
'type' = 'paimon',
'paimon.catalog.type' = 'filesystem',
'warehouse' = 's3://datacenter/warehouse/paimon',
's3.endpoint' = 'http://192.168.0.3:9000',
's3.access_key' = 'minioadmin',
's3.secret_key' = 'minioadmin',
's3.region' = 'us-east-1',
's3.path.style.access' = 'true',
'schema.cache.ttl-second' = '0'
);