跳到正文
量子位· 闻乐·· 3 小时前精选AI 评分66

字节Seed论文揭示DeepSeek-V4长上下文检索随Token位置周期性波动

字节找到了DeepSeek时强时弱的原因

AI 导读

字节Seed团队研究发现,DeepSeek-V4系列模型的检索准确率会随信息在输入中的位置每隔4个Token周期性变化,128K大海捞针测试中最大准确率差距达40.2个百分点。

推荐理由

论文指出周期性波动与KV Cache压缩步长对应,评测长上下文模型时可据此设计分相位测试。

来源:量子位 · qbitai.com