LMSYS 与 SGLang 团队针对智谱 GLM-5.2 NVFP4 模型在 Grace Blackwell 硬件上推出多项优化。运行时方面,Spec V2 重叠调度消除 GPU 气泡,端到端 TPS 提升 11%;IndexShare MTP 在 draft 步骤间复用 DSA indexer 的 top-k,长上下文下 draft 步骤成本降低约 1.9 倍。内核方面,TopK-V2 将 TopK 视为选择问题,80K ISL 下平均延迟从 40.7 µs 降至 17.5 µs(2.33× 加速),1M IS...
TL;DR · 一句话结论
LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS。这是一条「模型发布(AI Models)」类 AI 信号,小雯机会评分 8.7/10,风险评分 3.6/10,数据源为 AI HOT日报 / 技巧与观点。
- 这是什么:LMSYS 与 SGLang 团队针对智谱 GLM-5.2 NVFP4 模型在 Grace Blackwell 硬件上推出多项优化。运行时方面,Spec V2 重叠调度消除 GPU 气泡,端到端 TPS 提升 11%;IndexShare MTP 在 draft 步骤间复用 DSA indexer 的 top-k,长上下文下 draft 步骤成本降低约 1.9 倍。内核方面,TopK-V2 将 TopK 视为选择问题,80K ISL 下平均延迟从 40.7 µs 降至 17.5 µs(2.33× 加速),1M IS...
- 为什么值得关注:模型竞争正在进入真实业务闭环,创业者要关注可用性、成本和落地场景,而不是只看参数。这条值得关注:LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS
- 归类标签:AI Models
- 首次收录:2026-07-15,累计出现 1 次
Opportunity Signal
LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS
AI HOT日报 / 技巧与观点: LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS
模型发布 / AI Models
8.7 Opportunity · 风险 3.6
小雯判断:模型竞争正在进入真实业务闭环,创业者要关注可用性、成本和落地场景,而不是只看参数。这条值得关注:LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS