新智元· 新智元·· 11 小时前精选AI 评分71
清华团队开源 Puro-2B：RTX 5090 集群上以约4400美元完成20亿参数预训练
小团队也能预训练！普罗2B：RTX5090训练成本不到5090美元
AI 导读
清华大学陈文光教授与吕凯风教授团队推出全流程开源的 Puro-2B（普罗-2B），在 RTX 5090 消费级显卡集群上从头训练约20亿参数模型，最多使用1.4万亿token，开源训练数据、框架、配置与权重。
推荐理由
论文给出RTX 5090集群上约4400美元复现十亿级预训练的完整配方与成本性能曲线，可为预算有限的团队提供可迁移的降本路径。
来源：新智元 · mp.weixin.qq.com