量子位· 一水·· 2 小时前精选AI 评分71
岩芯矩阵联合港科大、CMU开源 EdgeRock-4B：KV Cache 减少 99.1%，单卡吞吐 6.42 倍
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU 等高校发布并开源 EdgeRock-4B，KV Cache 在 256K 上下文下固定为 72MiB，相比源模型 Qwen3.5-4B 减少 99.1%；单张 80GB GPU 可同时跑 512 路长推理，输出吞吐 12124 tokens/s，是源模型的 6.42 倍。
推荐理由
原文给出了KV Cache固定占用、吞吐倍数和能力保留比例，可评估其对长推理部署成本的影响。
来源：量子位 · qbitai.com