LatentRec:训练时隐式推理替代推理时CoT
热点事件持续更新
LatentRec:训练时隐式推理替代推理时CoT
1 篇报道1 个报道来源21 小时前更新
先了解这件事
AI 综述
Hongyang Su 提出并提交 LatentRec 框架,用于基于 LLM 的生成式推荐:把推理阶段的 CoT 文本生成换成训练时的逐步隐式推理监督。训练中由一个 2.5M 参数的 Continuous Thought Module 迭代 K 步隐式推理,并用 Soft Token Selection 弥合隐藏状态与输入嵌入约 14 倍的范数差距、以 Per-step Reasoning Loss 监督每个中间状态。 论文称,训练后的 LLM 在推理时无需该模块即可保持精度,部署时可将其丢弃。在三个 Amazon 基准上,相对 CoT 蒸馏基线,HR@10 相对提升 4.0–5.0%,batch=1 时延迟降低 18.3 倍。
AI 根据报道生成 · 4 小时前更新
最新进展11月5日 19:43
LatentRec:用训练时隐式推理替代 LLM 推荐的推理时 CoT报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv · cs.CLLatentRec:用训练时隐式推理替代 LLM 推荐的推理时 CoT
LatentRec 提出用训练时的逐步隐式推理监督替代 LLM 推荐推理阶段的 CoT 文本生成,部署时可丢弃推理模块。其 2.5M 参数的 Continuous Thought Module 在训练中迭代 K 步隐式推理,配合 Soft Token Selection 弥合隐藏状态与输入嵌入约 14x 的范数差距,并以 Per-step Reasoning Loss 监督每个中间状态。在三个 Amazon 基准上,HR@10 相对提升 4.0-5.0%,延迟降低 18.3x(batch=1)。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 611月6日 13:00
- 近 24 小时变化
- –
02468
13:0014:0015:0016:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。