ivf索引一直构建失败

Viewed 6

场景:30亿条数据,15T数据量,768维度,96cpu,300G内存,hdd磁盘,3fe,3be,fe和be在一个节点上,共3台节点。构建过程中,经常be宕机,修改sql 内存限制参数后重启be,索引build又卡主,后又cancel了构建任务,之后又重新构建索引,还是一直卡在0的进度,看日志,除了WARN (schema change|33) [ThreadPoolManager$LogDiscardPolicy.rejectedExecution():364] Task java.util.concurrent.FutureTask@16b2921b[Not completed, task = java.util.concurrent.Executors$RunnableAdapter@5c64949c[Wrapped task = org.apache.doris.alter.SchemaChangeHandler$$Lambda$3535/0x0000006802737d30@6644b787]] rejected from schema-change-pool java.util.concurrent.ThreadPoolExecutor@355f4987[Running, pool size = 10, active threads = 9, queued tasks = 0, completed tasks = 708261601] 这个warn,没有其他异常日志,查看cpu和磁盘io,空闲率95%,按理说构建时候cpu和磁盘应该使用率很高,应该是任务卡住了,但看不到有效的异常信息。之前构建小数据量ivf索引也报过上述warn,但构建成功了,应该不是线程池问题。有大佬知道原因么

2 Answers

忘了说了,我版本4.0.7

这个可能得需要be.INFO 来看看呢,您方便的话可以加我主页微信我们一起看看