HySparse2 论文提出两级 KV 共享与混合稀疏注意力

发生了什么

HySparse2论文于9月22日提交，提出两级KV共享与混合稀疏注意力。KV缓存保存模型处理上下文所需的中间信息，长任务中这部分计算和存储成本会持续增长。

论文的方法组合KV Bridging与更细粒度的token选择，让预填充阶段可以在自解码器之后结束，跳过交叉解码器层，以减少前期计算。

作者在80B-A3B模型上报告长上下文检索、代理任务和资源开销的结果。本次核对的是论文摘要及提交信息，没有复现实验，也不能把论文直接等同于下一代MiMo产品已发布。

为什么值得关注

模型成本不仅来自输出速度。长上下文的预填充、缓存体积与信息检索质量，同样决定代理能否持续处理大量材料。