LoCo：局部偏好学习压缩大模型推理链
先了解这件事
研究团队发布 LoCo 论文，提出一种压缩大模型推理链的局部偏好学习方法：从模型自身轨迹检测过度思考状态，冻结推理前缀并重新生成更短的已验证续写，再用 DPO 在状态条件偏好对上训练。 论文报告，训练数据全部来自自生成的数学轨迹；LoCo 在五个数学基准上将完成长度缩短 41.7%–45.4%，在三个代码生成基准上缩短 23.4%–36.3%，同时保持或提升准确率。arXiv 摘要写明代码和模型“将公开”，后续 Reddit 讨论帖称论文、代码与 LoCo-7B 权重已在 arXiv、GitHub 和 Hugging Face 开放。
AI 根据报道生成 · 12 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选LoCo 提出局部偏好学习方法压缩大模型推理链
论文提出 LoCo，一种用于推理压缩的局部偏好学习方法：从模型自身轨迹中检测过度思考状态，冻结推理前缀并重新生成更短且经验证的续写，用 DPO 在状态条件偏好对上训练。训练数据全部来自自生成的数学轨迹，在五个数学和三个代码生成基准上，LoCo 将数学完成长度缩短 41.7%–45.4%，代码缩短 23.4%–36.3%，同时保持或提升准确率。论文、代码与 LoCo-7B 权重已在 arXiv、GitHub 和 Hugging Face 开放。
- arXiv · cs.CLLoCo：用局部偏好学习压缩大模型推理链
LoCo 是一种用于推理压缩的局部偏好学习方法：从模型自身轨迹中检测过度思考状态，冻结推理前缀并重新生成更短的已验证续写，再用 DPO 在状态条件偏好对上训练，让模型学会何时该继续推理、何时收尾。仅用自生成的数学轨迹训练，LoCo 在 5 个数学和 3 个代码生成基准上将补全长度在数学任务上缩短 41.7%–45.4%、代码任务上缩短 23.4%–36.3%，同时保持或提升准确率，并在所有代码基准上取得最佳 AUC。代码和模型将公开发布。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1411月5日 01:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。