查看: 316|回复: 6

[交流讨论] 某段数值取整bug

[复制链接]
梦石
0
星屑
42345
在线时间
6022 小时
注册时间
2006-11-10
回帖
6975
发表于 2026-10-15 10:21:12 | 显示全部楼层 |阅读模式

加入我们,或者,欢迎回来。

您需要 登录 才可以下载或查看,没有账号?注册会员

×
本帖最后由 灯笼菜刀王 于 2026-10-15 10:24 编辑

事件起因

经过不严谨测试, 发现数值在 512.0002 ~ 538.0002 之间,  p (X * 10000).to_i  其个位数会变成1 并不是2 ;
注, 小数部分固定为X.0002,   X.0001和X.0003都正常

未标题-1.jpg

目前发现XP(1.03)和VA(1.00)都有这个问题, 这是啥原因?

梦石
1
星屑
23371
在线时间
9572 小时
注册时间
2012-6-19
回帖
7021

开拓者短篇九导演组冠军

发表于 2026-10-16 11:14:52 来自手机 | 显示全部楼层
p a * 10000 看看结果是不是 5120001.999999999
回复

使用道具 举报

梦石
0
星屑
42345
在线时间
6022 小时
注册时间
2006-11-10
回帖
6975
 楼主| 发表于 2026-10-16 15:45:51 | 显示全部楼层
喵呜喵5 发表于 2026-10-16 11:14
p a * 10000 看看结果是不是 5120001.999999999

没错, VA的结果是 5120001.99999999  
511.0002 则会是 5110002.0
但如果是XP(1.03J), 结果是 5120002 变成整数而不是浮点, 511.0002 则正常p出 5110002.0

从变成5120001.99999999 是可以看出为什么取整后个位是1的原因, 但是问题还是一样, 为什么512会, 511就不会,摊手
回复

使用道具 举报

梦石
1
星屑
23371
在线时间
9572 小时
注册时间
2012-6-19
回帖
7021

开拓者短篇九导演组冠军

发表于 2026-10-16 18:17:16 | 显示全部楼层
灯笼菜刀王 发表于 2026-10-16 15:45
没错, VA的结果是 5120001.99999999  
511.0002 则会是 5110002.0
但如果是XP(1.03J), 结果是 5120002 变 ...


就是浮点数精度问题,然后 to_i 取整是裁掉小数部分不是四舍五入,所以 .999 直接给你裁到 0 了
避开浮点数
("512.0002".to_r * 10000).to_i
(512.0002 * 10000 +0.0001).to_i
或者四舍五入都能解决

你真想知道底层原因直接找AI问浮点数精度都能给你解释
回复

使用道具 举报

梦石
0
星屑
42345
在线时间
6022 小时
注册时间
2006-11-10
回帖
6975
 楼主| 发表于 2026-10-21 12:04:29 | 显示全部楼层
喵呜喵5 发表于 2026-10-16 18:17
就是浮点数精度问题,然后 to_i 取整是裁掉小数部分不是四舍五入,所以 .999 直接给你裁到 0 了
避开浮点 ...

方法我知道, 我也有解决的办法

我就想知道为什么会有这种情况, 免得以后再碰到同样的情况挨坑, 毕竟为了找出这个BUG,费了一个下午的时间
回复

使用道具 举报

梦石
1
星屑
23371
在线时间
9572 小时
注册时间
2012-6-19
回帖
7021

开拓者短篇九导演组冠军

发表于 2026-10-23 00:26:19 | 显示全部楼层
灯笼菜刀王 发表于 2026-10-21 12:04
方法我知道, 我也有解决的办法

我就想知道为什么会有这种情况, 免得以后再碰到同样的情况挨坑, 毕竟为了 ...

原因就是计算机没法精确储存浮点数,所以储存的都是近似值,有的近似值比原本的大有的比原本的小,
511.0002你目前用着没问题纯粹是因为你没踩到511.0002出问题的精度而已

直接
a = 512.0002
b = 511.0002
p sprintf("%.#{20}f", a)
p sprintf("%.#{20}f", b)
就现原型了
512.0002 实际值是 512.00019999999994979589
511.0002 实际值是 511.00020000000000663931

只要你还在用浮点数做这种精度运算下次就还会继续踩坑

点评

明白了, 尽量别以浮点数保存就可以避坑, 非常感谢  发表于 2026-10-23 09:48
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册会员

本版积分规则

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.

在本版发帖返回顶部