新智元· ASI启示录·· 3 小时前精选AI 评分66
至知创新研究院开源 IQuestRT 推理引擎,单请求解码吞吐达 vLLM 的 2.94 倍
推理提速近3倍!Agent下场调引擎,两周反超人工精调
AI 导读
至知创新研究院(IQuest Research)发布并开源面向 IQuest-Q1 的专用推理引擎 IQuestRT,在 8 卡 GPU、8 路张量并行、单请求条件下实测解码吞吐 910.70 tokens/s,为 vLLM 参考配置 309.83 tokens/s 的 2.94 倍。
推荐理由
原文给出了吞吐量对照、测试条件与适用边界,读者可据此判断该引擎在单请求场景下的实际收益范围。
来源:新智元 · mp.weixin.qq.com