arXiv · cs.CL· Swathi Shree Narashiman·· 14 天前AI 评分42
语言模型 logit 几何的系统性分析：通用结构与训练学到的偏离
The Geometry of Language Model Logits: Generic Structure and Learned Departures
来源与原文
arXiv · cs.CL
作者：Swathi Shree Narashiman
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18520v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
该 arXiv 论文实证分析自回归语言模型在每步预测产生的词表级 logit 向量，发现有序 logits 遵循跨架构与规模一致的 log-linear 关系 z_(r) ≈ μ − α·log r。训练后模型的斜率 α 约为 1.4–1.7，远高于初始化基线的 0.2，且 α 与预测性能相关，表明其捕捉了超越极值效应的学习结构。
来源：arXiv · cs.CL · arxiv.org