至知创新研究院开源IQuestRT推理引擎
热点事件持续更新
至知创新研究院开源IQuestRT推理引擎
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
至知创新研究院（IQuest Research）发布并开源了面向 IQuest-Q1 的专用推理引擎 IQuestRT，代码已在 GitHub 公开，采用 Apache-2.0 许可证，并提供安装、运行和性能测试说明。 IQuestRT 针对 IQuest-Q1 及特定 GPU 计算架构和互连环境设计，需要 8 路张量并行和单个活动请求，暂不支持其他模型、GPU 架构及并行配置。在 8 卡高性能 GPU、单请求条件下，IQuestRT 实测解码吞吐 910.70 tokens/s，为 vLLM 参考配置 309.83 tokens/s 的 2.94 倍。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 10:24
至知创新研究院开源 IQuestRT 推理引擎，单请求解码吞吐达 vLLM 的 2.94 倍报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- 新智元精选至知创新研究院开源 IQuestRT 推理引擎，单请求解码吞吐达 vLLM 的 2.94 倍
至知创新研究院（IQuest Research）发布并开源面向 IQuest-Q1 的专用推理引擎 IQuestRT，在 8 卡 GPU、8 路张量并行、单请求条件下实测解码吞吐 910.70 tokens/s，为 vLLM 参考配置 309.83 tokens/s 的 2.94 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。