doris 倒排索引的标点符号问题

Viewed 6

doris 2.1.11在使用倒排索引的时候,使用的unicode分词,这种分词把原始文本中的标点符号没有占一个token,直接被去掉了,导致下面这种情况的数据不应该被查询出来 :
原文:处方审核、药物联用风险提示
查询短语:核药
有什么方法保留标点符号的占位吗?

0 Answers