跳到正文
我的
热点事件持续更新

LatentRec:训练时隐式推理替代推理时CoT

1 篇报道1 个报道来源21 小时前更新

先了解这件事

AI 综述

Hongyang Su 提出并提交 LatentRec 框架,用于基于 LLM 的生成式推荐:把推理阶段的 CoT 文本生成换成训练时的逐步隐式推理监督。训练中由一个 2.5M 参数的 Continuous Thought Module 迭代 K 步隐式推理,并用 Soft Token Selection 弥合隐藏状态与输入嵌入约 14 倍的范数差距、以 Per-step Reasoning Loss 监督每个中间状态。 论文称,训练后的 LLM 在推理时无需该模块即可保持精度,部署时可将其丢弃。在三个 Amazon 基准上,相对 CoT 蒸馏基线,HR@10 相对提升 4.0–5.0%,batch=1 时延迟降低 18.3 倍。

AI 根据报道生成 · 4 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv · cs.CL
    LatentRec:用训练时隐式推理替代 LLM 推荐的推理时 CoT

    LatentRec 提出用训练时的逐步隐式推理监督替代 LLM 推荐推理阶段的 CoT 文本生成,部署时可丢弃推理模块。其 2.5M 参数的 Continuous Thought Module 在训练中迭代 K 步隐式推理,配合 Soft Token Selection 弥合隐藏状态与输入嵌入约 14x 的范数差距,并以 Per-step Reasoning Loss 监督每个中间状态。在三个 Amazon 基准上,HR@10 相对提升 4.0-5.0%,延迟降低 18.3x(batch=1)。

本事件热度走势

可比范围当前
6
可比范围峰值
611月6日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。