如何解决计算时出现水垢损失
| 我正在执行计算,但没有得到我期望的答案。我在计算时损失了一些规模。 计算公式为:651/1000 * -413.72063274 = -269.33213191(至8 d.p) 在sql Server中,我这样做:declare @var numeric(28,8)
declare @a numeric(28,8)
declare @b numeric(28,8)
set @var = -413.72063274
set @a = 651.00000000
set @b = 1000.00000000
select CAST((@a/@b) * @var as numeric(28,8)) as result_1,CAST(CAST(@a as numeric(28,8))
/CAST(@b as numeric(28,8)) as numeric(28,8))
*CAST(@var as numeric (28,8)) as result_2
结果是
result_1:-269.33213200(正确为6dp)
result_2:-269.332132(正确为6dp)
如何获取查询以返回:-269.33213191(正确为8dp)?
解决方法
对于这种特定情况,您可以通过先将所有值相乘并将最终结果除以该乘数来作弊。
declare @var numeric(28,8)
declare @a numeric(28,8)
declare @b numeric(28,8)
declare @m numeric(28,8)
set @var = -413.72063274
set @a = 651.00000000
set @b = 1000.00000000
set @m = 10000000
select CAST(((@a*@m) * (@var*@m) / (@b*@m)) AS NUMERIC(28,8)) / @m
-- Result: -269.3321319137
编辑
另一方面,在不使用乘法器的情况下,跟随保持了其精度
select CAST(@a * @var AS NUMERIC(28,8)) / @b
-- Result: -269.3321319140
,BOL中描述了将乘法和除法从“3ѭ”转换为“3ѭ”的规则。
*结果精度和小数位数的绝对最大值为38。
结果精度大于38,
相应的比例缩小为
防止结果不可或缺
不会被截断。
但未明确说明截断的执行方式。在此处记录。但是有时仅使用试错法会更容易!
以下中间强制转换可为您提供所需的结果。你能和那些人住在一起吗?
DECLARE @var NUMERIC(19,8)
DECLARE @a NUMERIC(19,8)
DECLARE @b NUMERIC(19,8)
SET @var = -413.72063274
SET @a = 651.00000000
SET @b = 1000.00000000
DECLARE @v SQL_VARIANT
SET @v = CAST(@a/@b AS NUMERIC(24,10))* CAST(@var AS NUMERIC(23,8))
SELECT CAST(SQL_VARIANT_PROPERTY(@v,\'BaseType\') AS VARCHAR(30)) AS BaseType,CAST(SQL_VARIANT_PROPERTY(@v,\'Precision\') AS INT) AS PRECISION,\'Scale\') AS INT) AS Scale
,您从除法开始,然后相乘。精度的损失在于除法。此值四舍五入为8 dp,结果乘以3位数(413)值(因此缺少最后两位数)
一种解决方案是对中间结果使用更高的精度,或者先进行乘法。
(@a * @var)/ @b在数学上等于您的计算,但可能会得出更准确的结果。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。