arXiv · cs.CL· Yangrong Hu·· 2 天前AI 评分37
Self-Privileged Fine-Tuning（SPFT）微调方法提出：用特权信息先验改进 SFT 的 token 级加权
Self-Privileged Fine-Tuning
来源与原文
arXiv · cs.CL
作者：Yangrong Hu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.04632v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Self-Privileged Fine-Tuning（SPFT），在监督微调（SFT）中以初始模型的冻结副本结合特权信息（如数学题的真实答案）作为先验，指导 token 级加权。理论分析表明静态加权的目标分布更稳定，而 SPFT 经贝叶斯分解可为更具预测性的 token 分配更大权重。在数学推理与代码生成任务上，SPFT 均优于标准 SFT 及其他基线。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。