Cortex：把上下文增益固化进模型参数

一篇 2026-10-14 的 Hugging Face 每日论文介绍 Cortex 方法，它通过生成前瞻性查询预判上下文的用途，把依赖上下文的输出蒸馏成可合并的低秩或结构性前馈网络更新，从而在移除上下文后仍把增益保留在参数中，并把上下文指定的编辑、技能学习和行为引导统一到同一目标下。 论文提出 Memory Consolidation 任务与五任务族测试基准。在 14B 模型上做 50 次连续事实编辑后，Cortex-Structural 恢复了 88.9% 的上下文增益，同时保留 99.8% 的原始非目标能力；在 4B–120B 的稠密与 MoE 骨干（含纯文本与多模态模型）上，Cortex 在多数评测设置中位于固化—保持的帕累托前沿。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。