量子位· 闻乐·· 3 小时前精选AI 评分66
字节Seed论文揭示DeepSeek-V4长上下文检索随Token位置周期性波动
字节找到了DeepSeek时强时弱的原因
AI 导读
字节Seed团队研究发现,DeepSeek-V4系列模型的检索准确率会随信息在输入中的位置每隔4个Token周期性变化,128K大海捞针测试中最大准确率差距达40.2个百分点。
推荐理由
论文指出周期性波动与KV Cache压缩步长对应,评测长上下文模型时可据此设计分相位测试。
来源:量子位 · qbitai.com