arXiv · cs.CL· Oliver Giudice·· 6 天前AI 评分30
基于 KAN 的非线性分解方法压缩嵌入层
A KAN-based Non-linear Factorization for Embedding Layer Compression
来源与原文
arXiv · cs.CL
作者：Oliver Giudice
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29424v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出用 KAN（Kolmogorov Arnold Networks）启发的可学习非线性投影增强低秩分解，突破嵌入层压缩中线性瓶颈的表达能力限制。方法在 Skip-gram 框架下于 Word Analogy 和 Semantic Similarity 基准上与标准低秩基线在相同参数预算下对比，并结合预训练未压缩嵌入层的初始化策略及蒸馏变体。结果表明非线性投影能在固定维度下生成更忠实的压缩嵌入。
来源：arXiv · cs.CL · arxiv.org