DeepMind论文指Softmax与交叉熵标准实现有舍入Bug
热点事件观察中
DeepMind论文指Softmax与交叉熵标准实现有舍入Bug
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
谷歌DeepMind的Jonathan T. Barron团队在arXiv提交论文《Softmax和交叉熵的修复》，指出PyTorch、JAX及教科书中的Softmax与交叉熵标准实现会把极小数字舍入为零，导致梯度消失，论文称之为Softmax崩溃与Softmax抵消。 该问题在不同精度下触发的阈值不同：bfloat16格式下约在数值5.5处出现，fp32下约在16.6处。在模加法（a + b mod 31）任务中，使用标准代码时bfloat16精度下的测试准确率为93.3%且极不稳定，换上修复后的代码后准确率达到100.0%。Gemini参与了该问题的发现与修复。
AI 根据报道生成 · 14 小时前更新
最新进展10月26日 19:44
DeepMind 论文指出 Softmax 与交叉熵标准实现存在舍入 Bug，Gemini 参与发现与修复报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- 新智元精选DeepMind 论文指出 Softmax 与交叉熵标准实现存在舍入 Bug，Gemini 参与发现与修复
谷歌 DeepMind 的 Jonathan T. Barron 团队在 arXiv 提交论文《Softmax和交叉熵的修复》，指出 PyTorch、JAX 及教科书中的标准实现会把极小数字舍入为零，导致梯度消失，称为 Softmax崩溃与 Softmax抵消。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 710月27日 10:00
- 近 24 小时变化
- –
02468
12:0015:0018:0021:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。