跳到正文
热点事件持续更新

DCKV:端到端训练的KV缓存压缩编解码器

1 篇报道1 个报道来源17 小时前更新

先了解这件事

AI 综述

Egor Maximov 等在 arXiv 发布论文,提出 DCKV,称其为首个端到端训练的 KV cache 可微编解码器,用于压缩混合语言模型中仅存于少数全注意力层的 KV cache,其变换、量化器和熵模型与冻结语言模型联合优化。 论文报告的效果绑定在 Qwen3.5-2B 上:压缩后每 token 存储比 bf16 少 55 倍以上时,三个长上下文 benchmark 最多损失 1.8 分;少 100 倍以上时最多损失 3.6 分。这些为论文自述结果,尚未有独立验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · cs.AI
    DCKV:混合语言模型中提示词 KV cache 的可学习变换编码

    DCKV 是首个端到端训练的 KV cache 可微编解码器,针对混合语言模型中仅存于少数全注意力层的 KV cache 进行压缩,其变换、量化器和熵模型与冻结语言模型联合优化。在 Qwen3.5-2B 上,压缩后每 token 存储比 bf16 少 55 倍以上时,三个长上下文 benchmark 最多损失 1.8 分;少 100 倍以上时最多损失 3.6 分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。