清华团队开源Puro-2B低成本预训练方案

清华大学陈文光与吕凯风团队推出全流程开源的预训练方案 Puro-2B，在消费级显卡 RTX 5090 集群上从头训练约20亿参数模型，最多使用1.4万亿token，并开源训练数据、框架、配置与权重。 团队称，约4400美元预训练成本的版本在15项任务平均指标上超过 Qwen2-1.5B；6900美元成本的最佳版本平均性能接近 Qwen2.5-1.5B。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。