GitHub · 灵魂体仓库·· 18 天前精选AI 评分60
RIS-Kernel 开源稀疏注意力推理引擎,无 GPU 硬件上实现 64k+ token 长上下文
santosardr/riskernel
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/santosardr/riskernel
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
santosardr 在 GitHub 开源 RIS-Kernel,一个模型无关的稀疏注意力推理引擎,可在无加速的普通 CPU(16–128 GB RAM)上运行 64k+ token 的长上下文推理,无需修改模型权重。在 Qwen2-1.5B-Instruct 上 32,768 token 受控评测中,1% 密度、70 seeds 的 RIS-Stochastic 达到 75.00% 准确率,超过原生稠密注意力的 71.88%;65,536 token 时稠密注意力会显存溢出,RIS 相对零上下文基线(51.56%)最多提升 14.06 个百分点。GPU 环境下 40k token 峰值显存从 36.2 GB 降至约 9.4 GB。
推荐理由
仓库给出了在无加速 CPU 上跑 64k+ 上下文的实测精度与内存数据,读者可以据此评估稀疏注意力方案的可用性。
来源:GitHub · 灵魂体仓库 · github.com