Hugging Face 每日论文·· 6 天前精选AI 评分48
Pristine Models:在预训练中隔离不安全概念的文生图架构
Pristine Models
AI 导读
Pristine Models 提出一种新的文生图生成架构,通过注意力机制把安全与不安全知识分离到独立参数分支中,不安全分支可在推理时断开。在 ImageNet 上,该方法比仅用安全数据训练或事后概念移除取得更高图像质量和更好文本对齐,并在 CC12M 上验证了在更大规模开放世界预训练中依然有效。
推荐理由
论文提出在预训练阶段用注意力机制隔离不安全知识,为概念遗忘问题提供了与事后擦除不同的解决路径。
来源:Hugging Face 每日论文 · huggingface.co