TL;DR · 一句话结论

LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS。这是一条「模型发布(AI Models)」类 AI 信号,小雯机会评分 8.7/10,风险评分 3.6/10,数据源为 AI HOT日报 / 技巧与观点。

Opportunity Signal

LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS

AI HOT日报 / 技巧与观点: LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS

模型发布 / AI Models 8.7 Opportunity · 风险 3.6

LMSYS 与 SGLang 团队针对智谱 GLM-5.2 NVFP4 模型在 Grace Blackwell 硬件上推出多项优化。运行时方面,Spec V2 重叠调度消除 GPU 气泡,端到端 TPS 提升 11%;IndexShare MTP 在 draft 步骤间复用 DSA indexer 的 top-k,长上下文下 draft 步骤成本降低约 1.9 倍。内核方面,TopK-V2 将 TopK 视为选择问题,80K ISL 下平均延迟从 40.7 µs 降至 17.5 µs(2.33× 加速),1M IS...

小雯判断:模型竞争正在进入真实业务闭环,创业者要关注可用性、成本和落地场景,而不是只看参数。这条值得关注:LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS
AI Models