decimal精度问题

Question

CAST(m AS DECIMALV3(38, 8)) / 1e8 * CAST(c AS DECIMALV3(38, 8)) / 1e8 AS v1 -> 0.0000155000
(CAST(m AS DECIMALV3(38, 8)) / 1e8) * (CAST(c AS DECIMALV3(38, 8)) / 1e8) AS v2 -> 0.0000160000

上面这段v1的值是我们想要的结果，但是因为如果c太大时，会出现overflow的错误，所以改成v2的写法，却发现v2的值不一样。
想请问下应该怎么改才能满足v1的值并且不会遇到overflow呢？感谢

可以试试以下数据复现
m = 1550000
c = 100000

徐振超@SelectDB · Answer

【问题状态】跟进中
【问题处理】内部定位中，有进展会更新到论坛

jackteng · Answer

目前的结果符合decimal类型的计算规则。详情参见： https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-data-types/numeric/DECIMAL
m和c字段的具体类型是什么？它们的实际取值范围是多少？可以根据数据的实际取值范围对计算表达式进行cast，比如cast成较小的decimal类型。
请提供一下查询的详细plan：explain verbose select ....

Roger · Answer

这不符合decimal计算规则吧
以上面的例子为例好了
m = 1550000
c = 100000
(CAST(m AS DECIMALV3(38, 8)) / 1e8) = 0.0155000000 -> 这里应该还是DECIMALV3(38, 8)类型
(CAST(c AS DECIMALV3(38, 8)) / 1e8) = 0.0010000000 -> 这里也还是DECIMALV3(38, 8)类型
0.0155000000 * 0.0010000000 = 0.0000155000
两个DECIMALV3(38, 8)相乘，decimal规则要保留8精度吧
v2版本没有超过8位却自动进位成0.0000160000

CREATE TABLE test.test (
    m DECIMAL(38, 8) NOT NULL,
    c DECIMAL(38, 8) NOT NULL
)
UNIQUE KEY(m, c)
DISTRIBUTED BY HASH(m) BUCKETS AUTO
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);

decimal精度问题

3 Answers