Sean 5

• asked Jun 30, 2024

logstash output doris plugin的使用问题

希望通过Kafka把数据发到Logstash，再通过Logstash output doris plugin把kafka数据写到Doris的表内，由于采集的数据是多种日志数据，都是Jason格式，但无法预知具体每一种日志有多少列以及相应的列名，现在希望把Kafka发过来的Jason字符串，写入到Doris表内一个统一variant列，logstash output doris plugin参数应该如何写，目前没有找到可以引用整个jason字符串的方法。 请帮助指教如何写plu...

2.1

0 votes

1 answers

152 views

Sean 5

• asked Jun 30, 2024

Doris 2.1.3 BE启动后每24小时会自己停止

Doris 2.1.3版本，3个FE, 3个BE，FE可以连续稳定运行，但三个BE节点每运行24小时就会出现宕机，开始认为是系统连接限制，后来改为system service，但还是24小时出现宕机的问题。下面是2次出现问题后的be.out文件的输出： start time: Tue Jun 25 23:04:38 CST 2024 INFO: java_cmd /data1/jdk1.8.0_202//bin/java INFO: jdk_version 8 SLF4J: ...

2.1

0 votes

2 answers

276 views

Blue.Zhao 3

• asked Jun 30, 2024

FE无法启动且后台报错，想知道是什么原因导致的，以及如何解决？

FE后台报错 2024-06-30 13:24:37,908 WARN (UNKNOWN fe_493e2dd7_a214_4923_827e_2c834c7e53d0(-1)|1) [Env.notifyNewFETypeTransfer():2393] notify new FE type transfer: UNKNOWN 2024-06-30 13:24:37,927 WARN (RepNode fe_493e2dd7_a214_4923_827e_2c834c7e5...

2.0

0 votes

1 answers

153 views

徐振超@SelectDB(可以直接加微信Faith_xzc) 8286

• asked Jun 30, 2024

【解决方案】如何通过Profile快速定位Doris查询瓶颈

1 如何获取profile 参考文档： [https://doris.apache.org/zh-CN/docs/query/query-analysis/get-profile] 我们时常遇到对应 SQL 执行时间不及预期的情况，为了优化 SQL 达到预期查询时延，通过 Profile 我们能够看出可以做哪些优化。现在说明在不同环境下应该如何拿到对应 Query 的 Profile。 使用请求方式 HTTP://FE_IP:HTTP_PORT GET /API/Profil...

content faq practices

3 votes

1 answers

1567 views

郭明昊 21

• asked Jun 29, 2024

2.1.4版本 python使用arrow flight sql ,连接不会断开 ,连接数占满,达到100

conn = flight_sql.connect(uri="grpc://192.168.6.11:9040", db_kwargs={ adbc_driver_manager.DatabaseOptions.USERNAME.value: "root", adbc_driver_manager.DatabaseOptions.PASSWORD.value: "yutu@611Security" }) 创建游标 cur = c...

2.1

0 votes

3 answers

742 views

heye 3

• asked Jun 29, 2024

2.1.3 升级2.1.4 版本后，doris-spark-connector 写入数据异常 （doris sync_request_ids）

版本环境： selectdb-doris 2.1.4 错误提示内容： [CANCELLED][THRIFT_RPC_ERROR]auto inc sync result length > front buffer. 1 vs 0 doris::vectorized::AutoIncIDBuffer::sync_request_ids 具体错误 org.apache.doris.spark.exception.StreamLoadException: stream loa...

2.1 upgrade

0 votes

2 answers

168 views

____ 1

• asked Jun 29, 2024

数据库表增加了索引查询没有生效

有A表，数据量1已，里面的字段a1是没有索引的，根据a1字段查询数据需要耗时30秒，给a1创建了索引（CREATE INDEX idx_name ON A(a1);），索引也创建进去了，但是查询的速度耗时没有变化，是我创建索引的姿势有问题吗？

2.0

0 votes

2 answers

166 views

CloudS3n 3

• asked Jun 28, 2024

【已解决】请问动态分区前缀的长度限制是多少

Doris版本：2.0.9

2.0

0 votes

1 answers

59 views

郭明昊 21

• asked Jun 28, 2024

【已解决】arrow flight sql问题，使用 Python 的 ADBC Driver 连接 Doris，执行查询 sql 读取不到数据

一.首先,我在doris2.1.2版本可以读到以下两个sql的数据,然后我doris2.1.2 直接升级到doris2.1.4, 就读不到了 二.2.1.4版本,执行简单sql,可以读到数据,如下 执行带有join的sql,返回为空,也没有报错信息,不知道怎么排查,如下 三.还有一个问题:上面的执行都是在ubuntu服务器上,在我的笔记本电脑上,执行python的arrow_flight_sql,会报错如下

2.1 query

0 votes

1 answers

292 views

jency401 35

• asked Jun 28, 2024

2.0.11，执行sql时提示 execute sql error: Communications link failure The last packet successfully received from the server was 3,600,017 milliseconds ago

已知该sql关联的表数据量很大， sql语句: insert into a select ... from b left jon c ... left join d ... 1.设置了 {"useSSL":"false","socketTimeout":"5600034"}。 2.SET query_timeout = 5000; 报错提示： execute sql error: Communications l...

2.0

0 votes

1 answers

143 views