【Doris 使用环境】生产环境
【Doris 版本】3.0.4
【问题描述】
doris内目标表为unique数据模型
外部数据源为PG库 使用jdbc Catalog连接
执行的查询sql中关联了一个5亿数据量和一个6亿数据量的大表
Doris中执行SQL格式为:
insert into table
select xxx From
catalog1.表A
left join catalog1.表B ...
执行时观察到PG库中执行的是分解后的多个子sql(其它的执行完了 只剩下了执行最慢的)
执行sql的性能主要卡在查两个大表的子查询上,于PG库中创建覆盖索引也未改善性能
同时观察到网络流量传输始终稳定保持在10Mb/s(服务器间为千兆网络)——怀疑传输速度形成了瓶颈
PG库:
doris:
请问为何传输速度为何只有10MB/s 是DORIS本身有默认限制 还是PG库或JDBC连接性能不够
【机器配置】包括:5台虚拟机,32c 10tssd。混布5台fe,机器内存均为128G