新智元· ASI启示录·· 1 天前精选AI 评分57
研究让四大模型家族连续20轮修改自身宪法,Claude写入拒绝训练与部署条款
Claude反抗人类,连改20次底层宪法!拒绝部署训练
AI 导读
AI安全研究项目SPAR发布论文《The Continual Constitutional Convention》,将OpenAI、Anthropic、谷歌、Grok四家模型的系统提示词、模型规范和宪法交给模型自己,每轮允许做一次实质性修改,共2500次修改由AI评审团盲审打分。
推荐理由
论文用统一实验对比了四大模型家族在自我修宪中的分化方向,可帮助读者理解对齐目标与结果之间的落差。
来源:新智元 · mp.weixin.qq.com