doris存算分离查询paimon catalog问题

Question

版本：
paimon 1.0.1，S3存储，元数据用的filesystem
doris 3.0.6存算分离
步骤：
1、创建paimon catalog，查询paimon 库表正常。
2、用flink执行 drop table，再create table。
3、执行drois的刷新
refresh catalog paimon_flink_BBB;
refresh DATABASE paimon_flink_BBB.mock;
REFRESH TABLE paimon_flink_BBB.mock.t_center_user_currency_assets_plus;
4、用flink写入数据。
5、查询doris。
问题1：查到的数据还是删除之前的数据。
问题2：报错Failed to read manifest-listXXXXXXX

解决办法：
我在doris 执行命令drop catalog ,再create catalog，就能解决上面两个问题。

建议：catalog重建对影响整个应用的可靠性，所以有以下建议
REFRESH TABLE 除了要刷新doris 对paimon的snapshot数据缓存，还要刷新manifest等其他元数据缓存。

 · Answer

AI的建议：

既然 REFRESH TABLE 没有奏效，而 DROP/CREATE CATALOG 解决了问题，这可能暗示：
REFRESH TABLE 在特定场景下的局限性： 尽管它旨在刷新表元数据，但在 Paimon 表从“无 manifest-list”到“有 manifest-list”这种状态转换时，Doris 的 REFRESH TABLE 可能没有完全清除所有相关的“旧”缓存指针，导致它仍然尝试寻找一个不存在的 manifest-list。这可能是一个 Bug 或者在某些边缘情况下的设计限制。  

Catalog 级别缓存的深度： 有些元数据可能是在 Catalog 级别被更深层地缓存，导致单表的 REFRESH 无法触及。

doris存算分离查询paimon catalog问题

1 Answers