forest 35

• asked Dec 10, 2024

flinkcdc 从postgresql 同步数据到doris 读取wal日志慢

使用flink-doris-connector 1.6.1 从 pgsql 同步数据到doris，使用一流多表方式。因源表分区表较多，需要捕获的表也较多。1000+ ，flinkcdc 在读取xlogstart 时花费非常长的时间，超过flink checkpoint时间就会报错。从日志来看，一个表读取xlogstart 需要接近1s的时间。请问大佬这个有什么方法优化？

2.1 catalog ingestion performance

0 votes

2 answers

45 views

王卫光 3

• asked Dec 10, 2024

doris 2.1.6、2.1.7中的select中用LATERAL VIEW explode_map函数，查询的表字段不存在，提示错误不准确

--创建表： CREATE TABLE test.test03 ( id int, name varchar(20), age int ); --插入数据 INSERT INTO test.test03 values(1001,'sz',30),(1002,'gz',40); --正确查询 SELECT a.id ,k ,v FROM test.test03 a LATERAL VIEW explode_map(map('address...

2.1

0 votes

1 answers

33 views

forest 35

• asked Dec 10, 2024

使用Flink Doris Connector写入数据到Doris 如何忽略doris 表列大小写插入。

在使用flink-doris-connector 1.6.1 时，如果数据源发生了变更，表结构和表名都不发生变化，但是字段名字由驼峰式变成了全小写。在写入doris时候，如何让doris表字段名不修改的情况下，忽略字段大小写进行数据写入？

2.1 content ingestion

0 votes

1 answers

104 views

Claudio Leche 17

• asked Dec 10, 2024

使用 selectdb-doris-2.1.4-rc03 的版本时，在使用 not like 条件查询结果不准确的问题

例如： {code...} 增加一个非空的条件或者增加排序就返回有数据。 我在使用最新版本的 2.1.7 就没有这个问题，是否需要通过升级版本来解决这个问题

2.1

0 votes

1 answers

44 views

3

• asked Dec 9, 2024

使用es catlog查询时报错：Expected value of type: DOUBLE; but found type: Varchar/Char; Document source slice is : ""

经过初步的排查，确定问题数据以及相关问题字段：es中id=1790943549378789460的数据，es中相关字段：market_price、settlement_price、suggested_retail_price 备注：该文档中的这三个字段的值 之前都是""空字符，后来改成了null或者0后，还是报错 问题详细描述： 问题sql： SELECT id, IFNULL(product_id, '') AS product_id, IF...

3.0 query ingestion

0 votes

2 answers

80 views

wunan1210 3

• asked Dec 9, 2024

如何在创建异步物化视图的时候设置字段类型?

我创建的时候类似于 {code...} col_a 是一个string类型的字段, varchar放不下, 在物化视图创建的时候报错字段超长, 这个是否有好的解决方案?

2.1 物化视图

0 votes

2 answers

21 views

liujiamin 3

• asked Dec 9, 2024

Arrow Flight SQL数据查询求助！！！

一个复杂的sql，分别用jdbc:mysql://和jdbc:arrow-flight-sql://执行，mysql可以正常执行，arrow-flight-sql无返回数据。是需要设置什么吗？如果不处理字段，直接count(1)，都有结果。这个ResultMeta是什么？ mysql： arrow-flight-sql： count(1)结果都有：

2.1 catalog

0 votes

3 answers

88 views

一纸繁荒 13

• asked Dec 9, 2024

资源统计的IO Util不准确

通过manager页面查看集群-资源中的IO Util很高，但是通过服务器执行iostat查看并不高，且当时是没有什么业务读写doris节点。

manager

0 votes

1 answers

61 views

zoooy 3

• asked Dec 9, 2024

有什么可以直接用的Doris SQL解析器吗

需要解析SQL，修改后再转换为SQL。我试过druid、jsqlparser，都有些语法不支持。

faq

0 votes

1 answers

60 views

saber.destiny 5

• asked Dec 9, 2024

在使用K8S 部署 FoundationDBCluster 自定义sidercar image yaml 配置，未生效

这个是我的FoundationDBCluster yaml 定义 下面 是我使用kubectl get fdb bnq-prod-fdb-cluster -oyaml 查看的结果，并没发现 sider 自定义镜像的配置。 {code...}

decoupled 3.0 cluster install

0 votes

1 answers

45 views