JDBC catalog查询外部数据源(PG库),分解后子查询执行慢,如何优化?

Viewed 13

【Doris 使用环境】生产环境

【Doris 版本】3.0.4

【问题描述】

doris内目标表为unique数据模型
外部数据源为PG库 使用jdbc Catalog连接
执行的查询sql中关联了一个5亿数据量和一个6亿数据量的大表
Doris中执行SQL格式为:
insert into table
select xxx From
catalog1.表A
left join catalog1.表B ...

执行时观察到PG库中执行的是分解后的多个子sql(其它的执行完了 只剩下了执行最慢的)
image.png
执行sql的性能主要卡在查两个大表的子查询上,于PG库中创建覆盖索引也未改善性能
同时观察到网络流量传输始终稳定保持在10Mb/s(服务器间为千兆网络)——怀疑传输速度形成了瓶颈
PG库:

1744878886343.png
doris:
image.png

请问为何传输速度为何只有10MB/s 是DORIS本身有默认限制 还是PG库或JDBC连接性能不够

【机器配置】包括:5台虚拟机,32c 10tssd。混布5台fe,机器内存均为128G

1 Answers

已解决 问题出在连接PG库的是读写分离端口,需要经过中间层,所以有较大损耗。
另外 doris本身是否有参数能对这个传输速度有限制?