跳到正文
arXiv · cs.AI· Laya Iyer·· 6 天前AI 评分29

每个部分都有其角色:词性对 LLM 后训练的影响

Every Part Has Its Role: Part-of-Speech Effects in LLM Post-Training

来源与原文

arXiv · cs.AI

作者:Laya Iyer

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.29843v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项 arXiv 研究将概念增强(用语义相关词替换目标词的句子增广训练)从名词扩展到动词和形容词,考察词性对 LLM 训练效果的影响。结果显示:概念增强对新闻类文本的困惑度改善最稳定且不依赖词性,而动词带来最可靠的下游任务增益;CKA 和 linear probing 的表征分析表明,下游增益最大的条件未必最改变模型内部表征。

来源:arXiv · cs.AI · arxiv.org