KVarN：方差归一化KV缓存量化

KVarN是一种新颖的KV缓存量化方法，旨在大幅提升大型语言模型在推理阶段的效率。该技术的核心在于结合了Hadamard旋转与对K和V矩阵双轴的方差归一化处理，随后进行四舍五入量化。这种方法虽然实现简单，但在实际应用中表现出色。 KVarN特别适用于解码密集型、测试时扩展（test-time-scaling）场景，例如复杂的推理任务、代码生成以及AI Agent应用。在这些场景下，KV缓存的内存占用和访问速度是关键瓶颈。通过KVarN，开发者可以实现3到4倍的KV缓存压缩，同时在AIME24等严苛基准测试中，模型准确率几乎没有下降，通常仅有0-1%的损失。 这项技术不仅显著减少了KV缓存的内存消耗，还带来了推理速度的提升，优于现有量化方法。对于追求高效部署大型模型、支持更长上下文窗口以及优化AI Agent性能的中国开发者和AI创业者而言，KVarN提供了一个极具价值的解决方案，有助于降低运营成本并加速应用迭代。