doris2hive 三个问题 动态分区 no partition, 多一列分区列, code 40000

Viewed 10

情况1: doris2hive 多个分区动态插入在hive未创建的分区, 直接出现 no partition 报错
情况2: 改成遍历一天天插入, 使用无问题, 但通过 spark 重新往自身hive表重写数据时, 会出现 code 40000, 通过 desc formatted table_name partition(sdt='20250901'); 查看时, 多了一列分区列

1 Answers
  1. 需要手工在hive提前创建好分区, 规避多一列
  2. 需要调大内存, 才能跑更多的动态分区