doris无法对包含.的文本进行分词

Viewed 4

doris be的版本是:2.1.6。例如:

  • SELECT TOKENIZE('abc_d,bced','"parser" = "unicode", "parser_mode"="coarse_grained", "support_phrase" = "true"');
    分词结果为:["abc_d", "bced"]
  • SELECT TOKENIZE('abc.d,bced','"parser" = "unicode", "parser_mode"="coarse_grained", "support_phrase" = "true"');
    分词结果为:空。
    有没小伙伴遇到同样的问题?
1 Answers

升级一下吧,后面修了这个问题。可以升级到3.0.8或者3.1.3
image.png