跳到正文
量子位· 听雨·· 1 天前同新闻AI 评分68

百度文心Unlimited OCR 2发布并开源,峰值KV缓存从47GB降至1.77GB

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度发布并开源文心Unlimited OCR 2,采用稀疏参考滑动窗口注意力机制SR-SWA与无限解码机制,可连续解析3600+页文档。百页级单序列测试中峰值KV缓存从47GB降至1.77GB,减少约96%;16路并发吞吐量从360提升至1315 Token/秒,约为标准解码的3.65倍。

同一新闻,精选展示《百度开源文档解析模型文心Unlimited OCR 2,拿下两大长文档基准第一》

来源:量子位 · qbitai.com