新智元· ASI启示录·· 1 天前精选AI 评分70
DeepMind 论文指出 Softmax 与交叉熵标准实现存在舍入 Bug，Gemini 参与发现与修复
AI教科书全错！底层公式惊天Bug曝光，Gemini率先自我修复
AI 导读
谷歌 DeepMind 的 Jonathan T. Barron 团队在 arXiv 提交论文《Softmax和交叉熵的修复》，指出 PyTorch、JAX 及教科书中的标准实现会把极小数字舍入为零，导致梯度消失，称为 Softmax崩溃与 Softmax抵消。
推荐理由
原文解释了浮点舍入如何让梯度归零并给出修复思路，读者可理解低精度训练的一个具体风险来源。
来源：新智元 · mp.weixin.qq.com