YANGXR 7

• asked May 20, 2024

204版本，fe节点元数据同步问题，出现异常meta out of date

Doirs 2.0.4版本，3fe3be，其中一个FE运行一段时间出现 meta out of date. current time: 1716102704719, synchronized time: 1716102374701, has log: false, fe type: UNKNOWN fe.out中异常 此时发送到该节点的请求都会失败 该异常会自动恢复，但会在短时间内再次出现该问题 如fe.out中，fe的状态一直在转换，只有当重启该fe节点后短时间内才不会再出...

2.0

0 votes

1 answers

177 views

ZheWang 3

• asked May 20, 2024

Routineload 间歇性失败， be报错"Too many task" 后无响应（需重启be）

如题，kafka单组多消费者模式(hbase和doris同时消费), 5台物理机跑5be， 160core CCPU 600G内存, 启动了4个routineload 3个读取同一个topic并且可以稳定消费800万每秒 一到两小时， 另外一个routineload 压力较小可以忽略不计，在稳定消费1到2小时后有BE会报错"Too many tasks"， 然后该be无响应， 在稳定运行期间负载从未超过10%， 内存负载也很低， 除了routineload写表...

2.0

0 votes

1 answers

107 views

sdhzwc 8

• asked May 20, 2024

ETL工具Streamsets会适配吗

ETL工具Streamsets会适配吗

demand

0 votes

1 answers

48 views

郭明昊 21

• asked May 20, 2024

【已记录】使用flinkcdc同步pgsql到doris,pgsql表如果分区了,flinkcdc就读不到

root@mapuni-05:/home/flink-1.19.0# ./bin/flink run -Dexecution.checkpointing.interval=10s -Dparallelism.default=1 -c org.apache.doris.flink.tools.cdc.CdcTools ./lib/flink-doris-connector-1.19-1.6.0.jar postgres-sync-database --database yutu...

2.1 demand

0 votes

1 answers

106 views

____ 3

• asked May 20, 2024

Arrow Flight SQL 协议连接Doris，报错：预编译未实现

使用Arrow Flight SQL 协议连接Doris，报预编译未实现错误，Doris版本2.1.2，arrow相关驱动版本15.0.2，使用其他驱动版本也一样。 Java代码如下： {code...}

2.1

0 votes

1 answers

95 views

____ 1

• asked May 20, 2024

【Q&A】ranger鉴权管理失效对doris集群服务稳定性及其性能影响

关于ranger结合doris做鉴权管理方面的问题： 1、ranger挂了会不会影响到doris集群的正常运行。 2、ranger服务出现异常或者挂了，ranger中针对doris设置的权限policy会不会不起作用了。 3、原有几个表结构相同，存储不同地区的doris数据表，进行合并通过ranger权限管控，实现不同账户设置行限制读取，这样读写是否会产生高延迟，这方面如何进行压力测试好。 4、如果ranger服务出现异常或挂掉，那么针对doris设置的权限policy应该是...

faq permission

0 votes

1 answers

90 views

Wanghuan 17

• asked May 20, 2024

Routine Load 任务显示 Running，但数据未写入

现象描述： Apache doris 版本 2.1.2 ，ROUTINE LOAD 任务一直正常同步，修改完FE 和BE Conf 参数后重启集群之后，ROUTINE LOAD 任务状态一直显示Running ， 但是Lag 一直不变化，数据也未写入。FE 和 BE 日志未发现报错信息，desired_concurrent_number参数设置为2 ， 发现其中两个BE节点一直再刷新打印数据 任务语句： {code...} 查看任务详情信息： 1837351 ODS_LW_V...

2.1 ingestion

0 votes

1 answers

108 views

wait 5

• asked May 20, 2024

【已解决】数据迁移性能问题

对Doris数仓进行数据迁移，使用stream load方式写入数据，在观察写入日志时发现迁移的速度会出现单笔数据写入长时间的任务，导致数据迁移速度效率很慢，以下是几个doris返回的数据信息： Doris返回信息：{ "TxnId": 1219317, "Label": "audit_20240517_173707_3ece0e0e43994a42a25663a56c0a464b", "Comment": &#...

ingestion 2.0

0 votes

1 answers

119 views

犬薇 3

• asked May 20, 2024

分页查询，同一个字段多次排序，会导致排序字段为null

doris版本为 2.0.5 建表语句 {code...}

2.0

0 votes

1 answers

42 views

dengzhuzhihuo 1

• asked May 20, 2024

出现报错：wait millis 5000, active 200, maxActive 200

2824-85-28 88:31:58.575 WARN (mysol-nio-poo1-3745/283521) [Acceotlistener,lambdashandleEvent$1():185] Connection set query timeout to 9ee2024-85-28 88:32:84,716 WARN (thrift-server-pool-29/1423) [Coordinator.updatefragmentExecstatus():2574]...

2.1 catalog

0 votes

1 answers

71 views