lanranjun 3

• asked Jul 10, 2024

【已解决】cdc同步Doris数据库，小文件多次合并导致checkpoint异常

doris版本2.0.11 connector版本1.17-1.6.1 数据源表有4000万 问题描述 Doris数据库A中的多个表做cdc同步，为了合并cdc小文件，会暂停cdc程序并保存savepoint。新建表 table_tmp，将表table数据写入 table_tmp，接着删除table，将table_tmp重命名为table。 最后从savepoint启动cdc程序。 这样操作几次后，cdc同步到数据库A的任务checkpoint都会卡在IN_PROGRESS，...

ingestion 2.0

0 votes

1 answers

209 views

feng wang 3

• asked Jul 9, 2024

【已解决】主键模型表指定部分列更新失败，未指定的默认列仍然被更新

具体问题 目前有一张表，其中有一个入库时间字段默认值为当前时间，业务数据需要实时插入和更新，针对已有的数据，更新时不需要更新入库时间。 现场使用api接口stream_load工具导入数据时指定了除入库时间以外的字段，且开启了mow ，但数据更新时任然更新了入库时间字段， 具体数据及表结构内容无法拍照 1.表结构关键结构如下 2.kettle方案及关键节点配置

2.1 faq

0 votes

1 answers

416 views

____ 7

• asked Jul 9, 2024

Pipeline提交的作业修改column问题

doris 2.1.4 flink 1.19.1 flink-cdc 3.1.1 flink-cdc-pipeline-connector-doris-3.1.1 使用Pipeline管道提交的Yaml作业，在运行中执行了column修改alter table user change state states smallint not null default 0出现了问题，导致后面的数据都无法同步。 yaml sink配置如下 {code...} 麻烦帮忙看看这个问题， 如...

2.1

0 votes

1 answers

101 views

zhuhezhen 7

• asked Jul 9, 2024

doris表中的字段有双引号，如何去掉

以上是过程 原始csv文件中的字符串带双引号，数字不带，如"abc",123,"def" 通过routine load写库到Doris中，表中的数据也是带双引号的 这个双引号如何去掉 trim_double_quotes报错 PROPERTIES ( "desired_concurrent_number"="3", "strict_mode"="false", "trim_...

2.0

0 votes

2 answers

234 views

wuzhicong 1

• asked Jul 9, 2024

【已解决】官网通过openssl生成自定义的证书文件验证报错

2.1

0 votes

1 answers

36 views

李00000 5

• asked Jul 9, 2024

请问什么时候能发布一个doris-streamloader的java版本

看到官网上推出了Doris数据导入的专用工具，但是源码是go写的，想把这个工具集成到springboot里用

2.1 demand

0 votes

1 answers

110 views

wunan1210 3

• asked Jul 9, 2024

doris 2.1.4 使用ranger报错

根据 [https://doris.apache.org/zh-CN/docs/admin-manual/auth/ranger] 配置, 在添加doris服务的时候, 点Test Connection, 页面显示连接成功, 但是后台日志报错 {code...} 看错误好像是加密后的密码长度不对? 这个是ranger的原因, 还是doris插件的原因啊?

2.1

0 votes

3 answers

182 views

小灰灰8512 5

• asked Jul 9, 2024

be宕机后重启报错：inc rowsetid is too large

F0709 12:48:35.882704 320877 olap_common.h:395] inc rowsetid is too large:72057594037927936 *** Check failure stack trace: *** @ 0x563e14a16d6d google::LogMessage::Fail() @ 0x563e14a192a9 google::LogMessage::SendToLog() @ 0x563e14a168d6 goo...

1.2

0 votes

1 answers

65 views

Jasonf 21

• asked Jul 9, 2024

定时调度job 结合 catalog 插入到内部表的时候 外部表删除数据 内部表数据还在

定时调度job 结合 catalog 插入到内部表的时候 外部表删除数据 内部表数据还在 这个有什么好办法吗？ 这样子会出现 内部表数据更多

2.1 catalog

0 votes

1 answers

62 views

Rick 7

• asked Jul 9, 2024

Doris的syncjob从canal同步数据，fe.log报错[INTERNAL_ERROR]too many filtered rows

2.0

0 votes

1 answers

52 views