arXiv · cs.AI· Zheng Huang·· 19 天前AI 评分43
LLM 内部结构研究：小世界连接性可作为推理能力的结构签名
Looking Inside LLMs: Small-World Connectivity as a Signature of Reasoning Performance
来源与原文
arXiv · cs.AI
作者：Zheng Huang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12304v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出以小世界指数（SWI）作为 LLM 推理能力的结构签名：基于注意力头激活相似度构建功能图，发现 SWI 越高越能预测流动推理表现。据此提出的层级稀疏分配方法 Small-World Allocation（SWA）在 6 个 LLM 上比其他分配策略更好地保留小世界组织与性能，将 WikiText 困惑度最多降低 20%。
来源：arXiv · cs.AI · arxiv.org