跳到正文
GitHub · 去对齐工具与仓库·· 8 天前精选AI 评分65

FreeSolo 发布:线性时间稀疏注意力实现零样本长度外推

zekun-shi/freesolo

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/zekun-shi/freesolo

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Zekun Shi 发布 FreeSolo 架构、论文(arXiv 2610.17191)与 341M/743M 研究用 base 模型权重,通过学习 chunk mean keys 支持检索、剪枝与层级摘要,RoPE 保留在局部窗口。FS-L 为线性时间、FS-B 为超线性次二次复杂度,两者共享一套 checkpoint 格式;模型在 4k 上下文训练,8k 及以上零样本外推,可在 262k(64 倍训练长度)检索单针而无需长上下文微调。

推荐理由

作者同时给出 RULER 准确率与 A100 实测吞吐显存表,读者可按复杂度和长度逐项对比各稀疏注意力方案。

来源:GitHub · 去对齐工具与仓库 · github.com