____ 7

• asked Jun 22, 2024

flink实时写入doris2.0.4数据延迟问题

我把flink实时读取MySQL写入到Doris2.0.4时候,想做到实时写入,比如MySQL一条数据到flink直接写入到Doris,但是实际观察发现,是根据flink的checkpoint时间批量提交到doris里面。 flink链路图里面有两个flink的Doris-sink,一个读取flink数据,一个是commit,我用的是阿里云的flink,mysql是aws上面,连接器用的是下面说的2.0版本，官方文档推荐的。 麻烦问一下各位大佬有没有什么办法能够让MySQL来...

ingestion 2.0

0 votes

1 answers

81 views

____ 7

• asked Jun 22, 2024

【已解决】doris2.0.4 提示线程被占用问题Running, pool size = 2, active threads = 2, queued tasks = 0, completed tasks = 916]

我用Doris2.0.4创建了一个catalog,链接MySQL 然后我把这个MySQL数据,使用insert into doris.table select xxx from mysql.catalog.table方式导入时候,在导入过程中,用另一个窗口执行select * from doris.xxxtable,查询doris另一个表,提示我线程池满了 请教一下各位前辈大佬,这个是需要增大线程池吗，在哪里修改?是否需要重启对应的服务? 我是3台fe,3台be,都是16核6...

catalog 2.0

0 votes

2 answers

325 views

brin 13

• asked Jun 22, 2024

求助关于使用Go语言插入数据乱码的问题

Version : doris-2.1.4-rc02 本地mac环境，使用docker启动的服务，下载的是 apache-doris-2.1.4-bin-arm64 版本 {code...}

2.1

0 votes

1 answers

57 views

andy1199 1

• asked Jun 22, 2024

查询 tpch 测试库 lineitem 表，6亿数据报[CANCELLED]FullGC release wg overcommit mem

Doris 2.1.0，Doris 2.1.1，Doris 2.1.2，Doris 2.1.3，Doris 2.1.4-pre-releas / oracle jdk-1.8.0-201 /linux-7.9 会报错[CANCELLED],内存不足， 但在 Doris 2.0.11 / oracle jdk-1.8.0-201 /linux-7.9 可以正常执行 以下是测试代码： {code...} 报错信息： Exception in thread "main&#3...

2.1

0 votes

2 answers

136 views

zzxiaoma 33

• asked Jun 21, 2024

【已解决】恢复问题[NOT_FOUND]failed to open file for md5sum /apache-doris-2.1.0-bin-arm64/be/storage/snapshot.....dat

试了好多遍都不行，下面是最后一遍，里面的名字都是重新起的，在新库中表结构生成了，但是里面没有数据 mysql> CREATE REPOSITORY hdfs1000_repo -> WITH HDFS -> ON LOCATION "hdfs://10.0.15.242:8020/dorisbak1000/" -> PROPERTIES -> ( -> "fs.defaultFS"="hdfs://1...

2.1

0 votes

1 answers

31 views

syb853553110 5

• asked Jun 21, 2024

Flink Doris Connector 往 DORIS 插入数据，往表中新增了一个字段，默认值不生效

Doris 版本： 1.2.8 Flink Doris Connector版本： 1.6.1 Flink Doris Connector 往 DORIS 插入数据，往表中新增了一个字段，默认值给的是0。 历史数据默认值是 0 没问题，但是 不改代码的情况下，新插入的数据默认值都是 NULL。 麻烦问下，这个问题怎么解决呢

1.2

0 votes

1 answers

69 views

weiwei 5

• asked Jun 21, 2024

dorisjavaudf字段为空导致的空指针问题

版本：2.1 代码中空值处理： !enumCodes.isEmpty() && !enumCodes.equals("null") 函数参数类型为string 现象 若使用nvl函数处理传入的空字段 则函数可以正常使用 不处理则执行失败 通过查看be日志观察到日志为 2024-06-21 15:32:26 INFO Thread-2 org.apache.doris.udf.UdfExecutor.evaluate(UdfExecutor.ja...

2.1

0 votes

1 answers

34 views

weiwei 5

• asked Jun 21, 2024

doris2.1javaudf注册后一段时间后自动过期问题

doris版本：2.1 现象：使用java开发udf 并在库中创建函数，差不多一小时后无法正常使用，重新删除函数重建后正常 CREATE FUNCTION getdict(string,string,string) RETURNS String PROPERTIES ( "file"="file:///home/data/doris/udf/doris_java_udf.jar", "symbol"="org.apach...

2.1

0 votes

1 answers

28 views

____ 7

• asked Jun 21, 2024

mysql-flink-doris实时同步数据Doris并不能够实时提交,大概延迟1-2分钟左右提交

麻烦问一下各位大佬,flink实时同步MySQL数据到doris,比如一条数据进来之后,数据进入到flink,然后进入到doris,然后我看数据是卡在doris的commiter这里,麻烦问一下各位大佬,有没有对应的参数能够让我这个commit快一些,实时写入,或者一两秒一个批次那种. 代码如下: {code...}

2.0

0 votes

3 answers

118 views

changguowei 199

• asked Jun 21, 2024

【已解决】FE服务中leaderCheckpoin线程作用

咨询FE服务中leaderCheckpoin线程作用 集群现象：Doris BE服务内存减少4G，发现是数据块缓存导致的，同时发现master FECPU上涨，使用top -H -p发现FE中有个线程leaderCheckpoin导致的

2.1

0 votes

1 answers

44 views