arXiv · cs.CL· Daisuke Oba·· 7 天前AI 评分30
BCT:流语言模型的贝叶斯一致性温度调节方法
BCT: Bayes-Consistent Tempering for Flow Language Models
来源与原文
arXiv · cs.CL
作者:Daisuke Oba
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.27641v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Bayes-Consistent Tempering(BCT),解决后验诱导流语言模型中温度缩放作为事后处理导致的两处不匹配:中间含噪状态分布改变而去噪器未相应训练,以及温度调节后的后验权重与未调节动力学的组合。BCT 将温度显式纳入生成流的分布与动力学,并提供无需训练的变体。在超球面流 LM、von Mises–Fisher 流 LM 及 Sudoku 任务上,BCT 在宽温度范围内提升 GSM8K 生成表现,极低温度下学习版比免训练变体更稳健,代码与模型权重已公开。
来源:arXiv · cs.CL · arxiv.org