TL;DR · 一句话结论

小红书 RedKnot 推理引擎:将 KV Cache 按注意力头拆解实现长文本加速。这是一条「模型发布(AI Models)」类 AI 信号,小雯机会评分 9.5/10,风险评分 3.6/10,数据源为 AI HOT / 公众号:小红书技术(dots.llm)。

Opportunity Signal

小红书 RedKnot 推理引擎:将 KV Cache 按注意力头拆解实现长文本加速

公众号:小红书技术(dots.llm): 小红书 RedKnot 推理引擎:将 KV Cache 按注意力头拆解实现长文本加速

模型发布 / AI Models 9.5 Opportunity · 风险 3.6

RedKnot 将 KV Cache 沿注意力头维度拆解,通过头分类稀疏(局部头占 83.4%-96.8%)、稀疏 FFN 和 SegPagedAttention 三个机制统一算法与存储粒度。在 8 卡 H800 上,TTFT 最高加速 1.6-3.54×,单卡并发提升 4.7-7.8×,预填充 FLOPs 削减 67%-79.5%。DeepSeek-V4-Flash 上 128K 上下文 TTFT 加速达 5.16×,KV 传输最多省 6.3×。精度通常不低于稠密 F1 的 95%。

小雯判断:模型竞争正在进入真实业务闭环,创业者要关注可用性、成本和落地场景,而不是只看参数。这条值得关注:小红书 RedKnot 推理引擎:将 KV Cache 按注意力头拆解实现长文本加速
AI ModelsDeepSeek